ストリーム処理 とは？

バッチは、範囲が決まったデータをまとめて扱う。ストリームは、終わりが定まらない流れを継続して扱うんだ。全件が来るのを待てないので、注文が届くのに合わせて売上の集計を更新する、といった使い方をするよ。

処理や出力のタイミングは方式と設定によるよ。Spark Structured Streamingの既定は、流れを小さなバッチに区切って処理する方式。ストリーム処理という名前だけで、1件ずつの実行や一定の応答時間が保証されるわけではないんだ。

流れを集計する区間だよ。たとえば5分ごとで重ならない区間がタンブリング。過去5分を1分ずつずらすならスライディング。セッションウィンドウは、一定時間データが来ない区切りで活動をまとめる。区間と出力タイミングの設定を決めるんだ。

出来事が起きたイベント時刻と、実際の処理時刻を区別するよ。Flinkではウォーターマークでイベント時刻の進み具合を扱い、許容する遅れなどを設定できる。すべてのデータが順番どおり届くと決めつけず、遅れたデータをどう扱うか設計するんだ。

チェックポイントと入力の再読み込みで、状態を復元する仕組みがあるよ。ただし保証は構成次第で、処理を再実行することもある。内部状態の整合性だけでなく、外部への書き込みで結果が重複しないかも、入出力先の対応や設定を含めて確認する必要があるんだ。