【えーあいさぷらいちぇーんこうげき】

AIサプライチェーン攻撃 とは?

公開:
💡 食材に毒を混ぜて料理ごと乗っ取る手口
📌 このページのポイント
AIサプライチェーン攻撃の経路 悪意モデル HuggingFace等に公開 (Pickle RCEあり) ポイズニングデータ Webに混入した 悪意ある学習データ 改ざんライブラリ PyPI等の依存パッケージ にバックドア混入 AI開発 環境 モデル学習・統合 汚染に気づかない 本番 AIシステム 意図しない動作・ 情報漏えいが発生 対策 モデル署名・Safetensors AI BOM・出所検証
AIの材料(モデル・データ・ライブラリ)に毒を仕込むサプライチェーン攻撃のイメージ
ひよこ ひよこ
ペンギン先生、AIサプライチェーン攻撃って何なの?
ペンギン先生 ペンギン先生
AIを作るために必要な「材料」、つまりモデルファイルや学習データ、ライブラリなどに悪意ある改ざんを仕込む攻撃だよ。
ひよこ ひよこ
材料を汚染しておけば、完成したAIまで汚染されちゃうんだね!
ペンギン先生 ペンギン先生
そうだよ。代表的な例がHugging Faceで公開されているモデルファイルへの攻撃だね。PyTorchのPickle形式は任意コードを埋め込めるから、ダウンロードして読み込むだけでサーバーを乗っ取られることもあるんだ。
ひよこ ひよこ
有名なモデル共有サイトでも危険があるんだね!
ペンギン先生 ペンギン先生
そうなんだ。学習データへのポイズニング(毒入れ)も深刻でね。Webからデータを収集するとき、攻撃者があらかじめ公開サイトに悪意あるサンプルを仕込んでおくと、そのデータを取り込んだモデルが意図しない動作をするようになるよ。
ひよこ ひよこ
防ぐにはどうしたらいいの?
ペンギン先生 ペンギン先生
モデルファイルのハッシュ値や署名で出所を検証すること、信頼できるソースからのみモデルを取得すること、Pickleの代わりにSafetensors形式を使うことが効果的だよ。ソフトウェア開発のSBOMのようにAIの材料を記録する「AI BOM」の概念も広まっているんだ。
ひよこ ひよこ
AIを使う側も、どこから来たモデルか確認しないといけないんだね!
ペンギン先生 ペンギン先生
まさにそうだよ。便利に使えるオープンソースモデルが増えるほど、その安全性を確認するプロセスが重要になってくるんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「AIサプライチェーン攻撃」って出てきたら「AIの材料(モデルやデータ)に毒を仕込む攻撃」と思えればだいたいOK!
📖 おまけ:英語の意味
「ML Supply Chain Attack」 = 機械学習サプライチェーン攻撃
💬 ソフトウェアの「サプライチェーン攻撃」をML(機械学習)の文脈に適用した呼び方だよ
← 用語集にもどる