spark

Apache DolphinScheduler ist eine Open-Source-Plattform zur verteilten Workflow-Orchestrierung mit visuellen DAG-Schnittstellen zur Verwaltung komplexer Datenaufgaben.

CloudCanal

Ein Open-Source-Datensynchronisierungstool für MySQL-Binlog, das die Datenerfassung und -replikation in Echtzeit ermöglicht.

flink

Apache Spark ist eine einheitliche Engine für umfangreiche Datenanalysen, die Batch- und Streaming-Verarbeitung, SQL-Abfragen und maschinelles Lernen in mehreren Sprachen unterstützt.

druid

Apache Storm ist ein kostenloses, verteiltes Open-Source-Echtzeitberechnungssystem zur Verarbeitung unbegrenzter Datenströme, skalierbar und fehlertolerant.

datax

FlinkX, umbenannt in chunjun, ist ein Open-Source-Big-Data-Integrationstool auf Basis von Flink, das für eine effiziente Datensynchronisierung und -verarbeitung entwickelt wurde.

Sqoop

Apache Sqoop ist ein Tool zur effizienten Übertragung von Massendaten zwischen Hadoop und relationalen Datenbanken, das inzwischen eingestellt wurde.

storm

Apache Flink ist eine verteilte Verarbeitungs-Engine für zustandsbehaftete Berechnungen über Datenströme, die für hohe Leistung und Skalierbarkeit in allen Clusterumgebungen ausgelegt ist.

TEZ

Apache Tez ist ein Anwendungsframework zum Erstellen komplexer gerichteter azyklischer Diagrammaufgaben für die Datenverarbeitung, das auf Apache Hadoop YARN basiert.

Waterdrop

Sqoop ist ein Tool zur effizienten Übertragung von Massendaten zwischen relationalen Datenbanken und Hadoop HDFS, das für Big-Data-Workflows entwickelt wurde.

Chunjun

MinIO AIStor ist ein Exascale-Objektspeicher für KI, der S3-Kompatibilität, hohe Leistung und Zuverlässigkeit der Enterprise-Klasse für datenintensive Workloads bietet.

canal

Eine vollständig verwaltete Daten-Streaming-Plattform auf Basis von Apache Kafka, die elastische Skalierung, Unternehmenssicherheit, Stream-Verarbeitung und Governance für Echtzeit-Datenpipelines bietet.