Kafka Connectとは何ですか？

Kafkaと外部システム（データベース・S3・SaaS等）を接続するコネクタフレームワーク。コードを書かずにデータを取り込んだり送り出したりできる。

Kafka Connectのポイントは？

外部からKafkaへデータを取り込む「Sourceコネクタ」と、KafkaからDBなどへ書き出す「Sinkコネクタ」の2種類がある。設定ファイル（JSON）を書くだけでデータパイプラインが作れ、コーディング不要。数百種類のコネクタがConfluentや各ベンダーからOSSで提供されている。スケールアウト・フォルトトレランスが内蔵されており、ワーカーを追加するだけで並列処理を増やせる

【かふかこねくと】

Kafka Connect とは？

💡 Kafkaと外の世界をつなぐ、コード不要のコンセント

📌 このページのポイント

外部からKafkaへデータを取り込む「Sourceコネクタ」と、KafkaからDBなどへ書き出す「Sinkコネクタ」の2種類がある
設定ファイル（JSON）を書くだけでデータパイプラインが作れ、コーディング不要
数百種類のコネクタがConfluentや各ベンダーからOSSで提供されている
スケールアウト・フォルトトレランスが内蔵されており、ワーカーを追加するだけで並列処理を増やせる

Kafka ConnectはSourceとSinkの2種類のコネクタでKafkaと外部システムをつなぐ

ひよこ

Kafka ConnectってKafkaの仲間なの？

ペンギン先生

そうだよ。Apache Kafkaに同梱されているフレームワークで、KafkaとDB・S3・Elasticsearch・SaaSなど外部システムをつなぐ役割を担うんだ

ひよこ

「つなぐ」って具体的にどういうこと？

ペンギン先生

たとえばMySQLの更新データをリアルタイムでKafkaに流し込んだり、逆にKafkaのメッセージをS3に自動で保存したりできるよ。前者をSourceコネクタ、後者をSinkコネクタと呼ぶんだ

ひよこ

それって自分でコードを書かないといけないの？

ペンギン先生

それがKafka Connectのすごいところで、基本はJSON設定ファイルを書くだけなんだよ。「MySQLのこのテーブルを見て、変更をこのTopicに流して」という設定をREST APIで登録するだけで動き出すんだ

ひよこ

CDCって言葉と一緒に出てくることが多いんだけど、関係あるの？

ペンギン先生

大ありだよ！DebeziumというSourceコネクタがMySQLやPostgreSQLのバイナリログを読んで変更イベントをKafkaに流す仕組みをCDC（Change Data Capture）って言うんだ。Kafka ConnectでCDCを実現するのは定番パターンだよ

ひよこ

ETLとも関係あるの？

ペンギン先生

関係あるよ。Extract（抽出）はSourceコネクタ、Load（書き込み）はSinkコネクタが担当するんだ。Transform（変換）はKafka Streamsや軽量な変換プラグインで行うことが多いね。Kafka Connectを中心にデータパイプラインを構築するのが現代のETLの主流になってきてるよ

まとめ：ざっくりこれだけ覚えればOK！

「Kafka Connect」って出てきたら「Kafkaと外部システムをつなぐコネクタ基盤」と思えればだいたいOK！

📖 おまけ：英語の意味

「Kafka Connect」＝ Kafkaとの接続フレームワーク

💬 Apache Kafkaの公式サブプロジェクトで、connect（接続する）という名の通り、Kafkaと外部システムをつなぐのが役割だよ

← 用語集にもどる