Apache Kafkaとは何ですか？

大規模なリアルタイムデータストリーミングを実現する分散メッセージングプラットフォーム。イベント駆動アーキテクチャの中核。

Apache Kafkaのポイントは？

分散ログベースのメッセージングシステム。高スループット・低遅延でリアルタイムデータ処理。Producer-Consumer モデルでシステム間を疎結合に。LinkedIn が開発し、現在は Confluent が商用サポート

【あぱっちかふか】

Apache Kafka とは？

💡 毎秒数百万メッセージを捌く「イベントの高速道路」

📌 このページのポイント

分散ログベースのメッセージングシステム
高スループット・低遅延でリアルタイムデータ処理
Producer-Consumer モデルでシステム間を疎結合に
LinkedIn が開発し、現在は Confluent が商用サポート

Apache Kafkaのイメージ — パーティション分割で高スループットを実現

ひよこ

普通のメッセージキューと何が違うの？

ペンギン先生

RabbitMQなどの従来のメッセージキューはメッセージを消費したら消える。Kafkaは分散ログとしてメッセージを保持し続ける（保持期間は設定可能）。同じメッセージを複数のConsumerが読める。再処理や複数のシステムへの配信が容易。毎秒数百万メッセージを捌けるスループットも桁違いだよ

ひよこ

どんな場面で使う？

ペンギン先生

①リアルタイムログ収集（サーバーログをKafkaに流してElasticsearchに格納）、②イベント駆動マイクロサービス（注文イベントを在庫・決済・通知サービスに配信）、③ストリーム処理（ユーザー行動をリアルタイムで集計してレコメンド）、④データパイプライン（DBの変更をリアルタイムでDWHに同期）

ひよこ

仕組みを簡単に教えて？

ペンギン先生

データは「Topic」に書き込まれ、Topicは「Partition」に分割される。ProducerがTopicにメッセージを書き、ConsumerがPartitionから読む。Partitionが複数あるから並列処理できて高スループット。各メッセージにはオフセット（番号）が振られ、Consumerは「どこまで読んだか」を管理して、障害時に再開できるんだよ

ひよこ

運用は難しい？

ペンギン先生

正直、運用コストは高い。ZooKeeper（またはKRaft）によるクラスタ管理、Partitionのリバランス、レプリケーション設定、監視。自前運用が大変ならConflect Cloud、AWS MSK、Redpandaなどのマネージドサービスがおすすめ。Redpandaは KafkaのAPI互換でZooKeeper不要、運用が楽だよ

まとめ：ざっくりこれだけ覚えればOK！

「Kafka」って出てきたら「大規模リアルタイムデータを流す分散メッセージングシステム」と思えればだいたいOK！

📖 おまけ：英語の意味

「Apache Kafka」＝アパッチ・カフカ

💬 作家のフランツ・カフカに因んで名付けられた。「書くことに最適化されたシステム」だからだよ

← 用語集にもどる