spark

Apache DolphinScheduler는 복잡한 데이터 작업을 관리하기 위한 시각적 DAG 인터페이스를 갖춘 오픈 소스 분산 워크플로 조정 플랫폼입니다.

CloudCanal

실시간 데이터 캡처 및 복제를 지원하는 MySQL binlog용 오픈 소스 데이터 동기화 도구입니다.

flink

Apache Spark는 대규모 데이터 분석을 위한 통합 엔진으로, 여러 언어에 대한 배치 및 스트리밍 처리, SQL 쿼리, 기계 학습을 지원합니다.

druid

Apache Storm은 무제한 데이터 스트림을 처리하고 확장 가능하며 내결함성을 갖춘 무료 오픈 소스 분산 실시간 계산 시스템입니다.

datax

천준(chunjun)으로 이름이 변경된 FlinkX는 효율적인 데이터 동기화 및 처리를 위해 설계된 Flink 기반의 오픈 소스 빅 데이터 통합 ​​도구입니다.

Sqoop

Apache Sqoop은 Hadoop과 관계형 데이터베이스 간에 대량 데이터를 효율적으로 전송하기 위한 도구이며 현재는 사용되지 않습니다.

storm

Apache Flink는 모든 클러스터 환경에서 고성능과 확장성을 위해 설계된 데이터 스트림에 대한 상태 저장 계산을 위한 분산 처리 엔진입니다.

TEZ

Apache Tez는 Apache Hadoop YARN을 기반으로 구축된 데이터 처리를 위한 복잡한 방향성 비순환 그래프 작업을 구축하기 위한 애플리케이션 프레임워크입니다.

Waterdrop

Sqoop은 빅 데이터 워크플로우를 위해 설계된 관계형 데이터베이스와 Hadoop HDFS 간에 대량 데이터를 효율적으로 전송하기 위한 도구입니다.

Chunjun

MinIO AIStor는 AI용 엑사스케일 개체 저장소로, 데이터 집약적인 워크로드를 위한 S3 호환성, 고성능 및 엔터프라이즈급 안정성을 제공합니다.

canal

실시간 데이터 파이프라인을 위한 탄력적인 확장, 엔터프라이즈 보안, 스트림 처리 및 거버넌스를 제공하는 Apache Kafka 기반의 완전 관리형 데이터 스트리밍 플랫폼입니다.