canal
์ค์๊ฐ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์ํ ํ๋ ฅ์ ์ธ ํ์ฅ, ์ํฐํ๋ผ์ด์ฆ ๋ณด์, ์คํธ๋ฆผ ์ฒ๋ฆฌ ๋ฐ ๊ฑฐ๋ฒ๋์ค๋ฅผ ์ ๊ณตํ๋ Apache Kafka ๊ธฐ๋ฐ์ ์์ ๊ด๋ฆฌํ ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ ํ๋ซํผ์ ๋๋ค.
๊ฐ์
canal์ด๋?
Confluent Platform์ ์จํ๋ ๋ฏธ์ค ๋ฐ ํด๋ผ์ฐ๋ ๋ชจ๋์์ ์ฌ์ฉํ ์ ์๋ ์ปค๋ฅํฐ, ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ, ์คํธ๋ฆผ ๊ฑฐ๋ฒ๋์ค ๋ฐ Flink ๊ธฐ๋ฐ ์คํธ๋ฆผ ์ฒ๋ฆฌ๋ฅผ ์ํ ๊ด๋ฆฌํ ์๋น์ค์ ํจ๊ป ํด๋ผ์ฐ๋ ๋ค์ดํฐ๋ธ ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ ์๋ฃจ์ ์ ์ ๊ณตํ๋ Apache Kafka์ ์ํฐํ๋ผ์ด์ฆ๊ธ ๋ฐฐํฌํ์ ๋๋ค.
canal์ ๋ฌด์์ ์ฌ์ฉ๋๋์?

์ฃผ์ ๊ธฐ๋ฅ
- ํด๋ผ์ฐ๋ ๋ค์ดํฐ๋ธ Kafka ์์ง(KORA)
- ์์ ๊ด๋ฆฌํ ์ปค๋ฅํฐ
- ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ ๋ฐ ์คํธ๋ฆผ ๊ฑฐ๋ฒ๋์ค
- ์คํธ๋ฆผ ์ฒ๋ฆฌ๋ฅผ ์ํ Flink
- ํ์ด๋ธ๋ฆฌ๋ ๋ฐฐํฌ ์ต์
- ์ํฐํ๋ผ์ด์ฆ ๋ณด์ ๊ธฐ๋ฅ
canal ์ฌ์ฉ ๋ฐฉ๋ฒ์?
Confluent Platform ๋๋ Confluent Cloud๋ฅผ ๋ฐฐํฌํ๊ณ , Kafka ํด๋ฌ์คํฐ๋ฅผ ์ค์ ํ๊ณ , ์ปค๋ฅํฐ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ ์์ค๋ฅผ ํตํฉํ๊ณ , Flink ๋๋ ksqlDB๋ก ์คํธ๋ฆผ ์ฒ๋ฆฌ๋ฅผ ๊ตฌํํ๊ณ , ์คํค๋ง ๋ ์ง์คํธ๋ฆฌ ๋ฐ ์คํธ๋ฆผ ๊ฑฐ๋ฒ๋์ค ๋๊ตฌ๋ฅผ ํตํด ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค๋ฅผ ๊ด๋ฆฌํฉ๋๋ค.
๋์ ๋๊ตฌ
์ฅ์ & ๋จ์
์ฅ์
- ํ์ฅ์ฑ๊ณผ ํ๋ ฅ์ฑ
- ํฌ๊ด์ ์ธ ๊ธฐ์ ๋ณด์
- ํ์ด๋ธ๋ฆฌ๋ ํด๋ผ์ฐ๋ ๋ฐ ์จํ๋ ๋ฏธ์ค ๋ฐฐํฌ ์ง์
- Flink๋ฅผ ํตํ ํตํฉ ์คํธ๋ฆผ ์ฒ๋ฆฌ
๋จ์
- ์์ฒด ๊ด๋ฆฌ ๋ฐฐํฌ๋ฅผ ์ํ ๋ณต์กํ ์ค์
- ์ฃผ๋ก ๊ธฐ์ ์ฌ์ฉ์๋ฅผ ๋์์ผ๋ก ํจ
์ฌ์ฉ ์ฌ๋ก
- ์ค์๊ฐ ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ ํ์ดํ๋ผ์ธ
- ์ด๋ฒคํธ ์ค์ฌ ๋ง์ดํฌ๋ก์๋น์ค
- ์คํธ๋ฆฌ๋ฐ ETL ํ๋ก์ธ์ค
- ํด๋ฆญ์คํธ๋ฆผ ๋ฐ์ดํฐ ๋ถ์
canal ๊ฐ๊ฒฉ
์ฌ์ฉ์ ๋ฆฌ๋ทฐ
์์ง ๋ฆฌ๋ทฐ๊ฐ ์์ต๋๋ค
์ด ๋๊ตฌ์ ์ฒซ ๋ฒ์งธ ๋ฆฌ๋ทฐ์ด๊ฐ ๋์ธ์!