AIサプライチェーン攻撃 とは？

AIに取り込むモデルファイル、学習データ、ライブラリなどや、その供給経路を狙う攻撃だよ。材料への改ざん・毒入れだけでなく、依存ライブラリの脆弱性を悪用して開発環境を侵害する場合もあるんだ。

そうなる可能性があるよ。ただし危険の種類は違う。悪意あるPickleファイルを復元して読むと、Pythonコードが実行され得る。単にダウンロードしただけで同じことが起きるわけではない。一方、モデルの重み自体が改ざんされ、特定条件で誤った出力をする攻撃もあるんだ。

公開サイトの名前だけでは安全を保証できないよ。学習データへのポイズニングでは、攻撃者が混ぜたサンプルを学習に取り込むことで、モデルの出力や振る舞いが変わることがある。共有モデル、追加学習用のデータや部品も確認対象になるんだ。

提供元と取得経路を確認し、信頼できる基準値でハッシュや署名を検証する。依存部品の記録・更新と、取り込むモデルやデータの評価も組み合わせるよ。SafetensorsはPickle由来のコード実行を避けるための形式だけれど、重みの毒入れや周辺のPythonコードまで安全にする保証はないんだ。

署名は誰がその内容に署名したか、ハッシュは基準と同じ内容かを確認する助けだよ。でも提供元が侵害されたり、最初から悪意ある内容に署名されていたりする可能性はある。出所・改ざん検査と、実際の振る舞いの評価を分けて考えるんだ。