Apache Flink（フリンク） とは？

そうだよ。たとえばECサイトで注文が入った瞬間に不正を検知するとか、IoTセンサーのデータをリアルタイムに集計するとか。データを溜めてからまとめて処理するバッチと違って、流れてくるデータをその場で処理するんだ

SparkのStructured Streamingは、標準ではデータを小さなバッチに区切って順に処理する「マイクロバッチ」方式で、公式ドキュメントでは遅延を100ミリ秒程度まで縮められると説明されているよ。Flinkは最初から連続するストリームを処理する前提で設計されていて、処理中の状態を手元のメモリなどに置いて低いレイテンシで処理できるんだ。実際の速さは処理内容や設定で変わるから、要件に合わせて測って選ぼうね

分散システムでは、障害から復旧するときにデータを二重に処理したり取りこぼしたりしがちなんだ。Flinkはチェックポイントで各処理の状態を定期的に保存して、障害時はそこから再開することで、各イベントが状態に1回だけ反映されるようにしているよ。ただし外部への出力まで1回にするには、入力を読み直せることと、出力先がトランザクションかべき等な書き込みに対応していることが必要なんだ

公式サイトの利用例には、Blinkというフォーク版で検索ランキングをリアルタイムに最適化しているAlibabaや、Flinkの上にSQLで使えるストリーム分析基盤AthenaXを作ったUberなどが載っているよ

JavaのDataStream APIに加えて、SQLで書けるFlink SQLやTable APIもあるから、SQLが分かれば始めやすいよ。ただ2025年3月のFlink 2.0でScalaのAPIとDataSet APIは削除されたから、古い記事を参考にするときは注意しよう。AWSのAmazon Managed Service for Apache Flinkのようなマネージドサービスを使えば、クラスタ管理の手間も減らせるんだ