【れんごうがくしゅう】

連合学習(フェデレーテッドラーニング) とは?

最終更新:
💡 データを手元に残し、学習の更新を持ち寄る

学習用の生データを一か所へ集めず、端末や組織の手元で学習し、モデルの更新などを集約して共同のモデルを改善する手法。中央サーバーが更新をまとめる構成がある。生データを送らなくても情報が漏れる可能性はあり、追加の保護設計が必要。

📌 このページのポイント
データを手元に残し、更新を集約する共同のモデルサーバーで更新を集約端末 1手元のデータで学習端末 2手元のデータで学習端末 3手元のデータで学習青:モデル配布 緑点線:更新を送信生データを送らなくても、保護の設計が必要
中央サーバーで更新を集約する簡略例です。同じ学習課題に参加する三つの端末を示し、配布と送信の矢印を分けています。更新以外の指標も共有する構成があります。セキュア集約や差分プライバシー等の追加処理は省略しています。
ひよこ ひよこ
連合学習では、何を共有するの?
ペンギン先生 ペンギン先生
代表的な構成では、共通モデルを受け取って手元のデータで学習し、モデルの更新などをサーバーへ送るよ。サーバーは複数の更新を集約し、次のモデルへ反映する。学習用の生データを一か所へ集める方式と、データの置き場所が違うんだ
ひよこ ひよこ
生データを送らなければ、必ず秘密を守れる?
ペンギン先生 ペンギン先生
それだけでは保証できないよ。更新や学習済みモデルから、個人の情報を推測される可能性もある。何を送るか、誰が見られるか、どんな攻撃を想定するかまで設計する必要があるんだ
ひよこ ひよこ
更新を見られないようにする方法は?
ペンギン先生 ペンギン先生
セキュア集約は、サーバーが個々の更新ではなく集約結果を扱えるようにする技術だよ。ただし、集約結果そのものに個人の影響が残る問題とは別。個々の寄与を制限してノイズを加える差分プライバシーも組み合わせる場合があるんだ
ひよこ ひよこ
差分プライバシーなら、ノイズを足すだけでいい?
ペンギン先生 ペンギン先生
寄与の制限、ノイズ量、参加条件などを決めて、想定に合う保証を評価するんだよ。ノイズをどこで加えるかも構成による。保護の強さとモデルの精度の兼ね合いがあり、どんな設定でも完全に秘密になるわけではないんだ
ひよこ ひよこ
実際に使った例や、難しい点はある?
ペンギン先生 ペンギン先生
Googleは2023年の論文で、Gboardの言語モデルを連合学習と差分プライバシーで学習して展開したと報告しているよ。一方、通信や端末の計算負担、参加の途切れ、データの偏りに対応する必要がある。どんな学習にもそのまま使える万能な方法ではないんだ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「連合学習」って出てきたら「データを手元に残し、学習の更新を持ち寄ってモデルを改善する方法」と思えばだいたいOK!
📖 おまけ:英語の意味
「Federated Learning」 = 連合して行う学習
💬 federatedは複数の参加者が連携するという意味だよ。別々の端末や組織が、自分のデータで学習しながら共同のモデルに貢献するイメージなんだ

参考資料

← 用語集にもどる