datax
์ฒ์ค(chunjun)์ผ๋ก ์ด๋ฆ์ด ๋ณ๊ฒฝ๋ FlinkX๋ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ๋๊ธฐํ ๋ฐ ์ฒ๋ฆฌ๋ฅผ ์ํด ์ค๊ณ๋ Flink ๊ธฐ๋ฐ์ ์คํ ์์ค ๋น ๋ฐ์ดํฐ ํตํฉ โโ๋๊ตฌ์ ๋๋ค.
๊ฐ์
datax์ด๋?
FlinkX(ํ ์ฒ์ค)๋ Apache Flink๋ฅผ ๊ธฐ๋ฐ์ผ๋ก DTStack์ด ๊ฐ๋ฐํ ๋น ๋ฐ์ดํฐ ํตํฉ โโ๋๊ตฌ์ ๋๋ค. ๊ณ ์ฑ๋ฅ ๋ฐ์ดํฐ ๋๊ธฐํ ๋ฐ ETL ํ๋ก์ธ์ค๊ฐ ๊ฐ๋ฅํ๋ฉฐ ๋ค์ํ ๋ฐ์ดํฐ ์์ค์ ๋์์ ์ง์ํฉ๋๋ค. ์ด ๋๊ตฌ๋ ์คํ ์์ค ๊ธฐ์ฌ ๋ฐ ์ํฐํ๋ผ์ด์ฆ๊ธ ์๋ฃจ์ ์ ์ค์ ์ ๋ DTStack ๋น ๋ฐ์ดํฐ ์ ํ๊ตฐ์ ์ผ๋ถ์ ๋๋ค.
datax์ ๋ฌด์์ ์ฌ์ฉ๋๋์?

์ฃผ์ ๊ธฐ๋ฅ
- Flink ๊ธฐ๋ฐ ๋ฐ์ดํฐ ํตํฉ
- ์ฌ๋ฌ ๋ฐ์ดํฐ ์์ค ์ง์
- ๊ณ ์ฑ๋ฅ ๋๊ธฐํ
- ์คํ ์์ค ๋ฐ ์ฌ์ฉ์ ์ ์ ๊ฐ๋ฅ
- DTStack์ ๋น ๋ฐ์ดํฐ ๋๊ตฌ ์ ํ๊ตฐ์ ์ผ๋ถ
datax ์ฌ์ฉ ๋ฐฉ๋ฒ์?
์ฒ์ค์ ์ฌ์ฉํ๋ ค๋ฉด GitHub์์ ์์ค ์ฝ๋๋ฅผ ๋ค์ด๋ก๋ํ๊ณ , Flink ํ๊ฒฝ์ ์ค์ ํ๊ณ , ๋ฐ์ดํฐ ์์ค ๋ฐ ๋์์ ๊ตฌ์ฑํ๊ณ , ํตํฉ ์์ ์ ์คํํ์ธ์. ์์ฒด ํธ์คํ ๋ฐฐํฌ๋ฅผ ์ง์ํ๋ฉฐ ํน์ ๋ฐ์ดํฐ ์ํฌํ๋ก์ฐ์ ๋ง๊ฒ ์ฌ์ฉ์ ์ ์ํ ์ ์์ต๋๋ค.
๋์ ๋๊ตฌ
์ฅ์ & ๋จ์
์ฅ์
- ์คํ ์์ค ๋ฐ ๋ฌด๋ฃ
- Flink๋ฅผ ํตํ ๊ณ ์ฑ๋ฅ
- ์ ์ฐํ๊ณ ๋ง์ถคํ ๊ฐ๋ฅ
- DTStack์ ๊ฐ๋ ฅํ ์ปค๋ฎค๋ํฐ ์ง์
๋จ์
- ์ค์ ํ๋ ค๋ฉด ๊ธฐ์ ์ ์ ๋ฌธ ์ง์์ด ํ์ํฉ๋๋ค.
- ์ ํ๋ ์์ด ๋ฌธ์
- ์ฃผ๋ก ์ค๊ตญ ์ฌ์ฉ์๋ฅผ ๋์์ผ๋ก ํจ
์ฌ์ฉ ์ฌ๋ก
- ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ฐ ๋ฐ์ดํฐ ๋๊ธฐํ
- ๋น ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์ํ ETL ํ๋ก์ธ์ค
- ์ํฐํ๋ผ์ด์ฆ ๋ฐ์ดํฐ ํตํฉ โโํ๋ก์ ํธ
datax ๊ฐ๊ฒฉ
์ฌ์ฉ์ ๋ฆฌ๋ทฐ
์์ง ๋ฆฌ๋ทฐ๊ฐ ์์ต๋๋ค
์ด ๋๊ตฌ์ ์ฒซ ๋ฒ์งธ ๋ฆฌ๋ทฐ์ด๊ฐ ๋์ธ์!