【せつどう】
摂動（パータベーション） とは？
最終更新:
💡 元の入力などに加える変化や、その変化分
元のデータや状態に加える変化、またはその変化分。AIでは入力を変えて予測への影響を調べる場合などに使う。誤判定を狙って選んだ敵対的な摂動は一例で、摂動そのものを攻撃だけの意味に限定しない。
📌 このページのポイント
- 元の入力xに変化分δを加える例ならx＋δと表せる
- 入力の変化に対する予測の反応を調べられる
- 誤判定を狙って選ぶ敵対的な摂動もある
- 変化の大きさ・見え方・影響はデータや条件による
ひよこ 摂動ってAIをだますこと？
ペンギン先生 元の入力などに加える変化や変化分のことだよ。AIを誤判定させる目的で選んだ変化は、敵対的な摂動の例。全ての摂動が攻撃というわけではないんだ。
ひよこ 攻撃以外にも使うの？
ペンギン先生 予測の理由を調べる場合にも使うよ。LIMEの論文では、元の入力の周辺に変化を加えた入力を作り、それぞれの予測を使って局所的な説明を求める。ここでは誤判定させること自体が目的ではないんだ。
ひよこ 小さな変化で誤判定する例は？
ペンギン先生 Goodfellowらの論文には、パンダの画像へ選んだ小さな変化を加え、GoogLeNetがテナガザルと判定する例があるよ。そのモデルと実験条件での例で、適当なノイズを加えれば、全てのモデルが必ず間違うという意味ではないんだ。
ひよこ 人には必ず見えない？
ペンギン先生 変化の種類や大きさ、表示条件によるよ。数値上の変化が小さいことと、人が違いに気付かないことは同じ条件ではない。どんな尺度で変化を制限したか、どの入力とモデルで調べたかを確認しよう。
ひよこ 対策としては？
ペンギン先生 敵対的な入力を含めて学習する敵対的訓練が一つの方法だよ。論文では耐性が改善した実験も、誤判定が残った結果も示されている。調べた攻撃に強くなることと、全ての入力や攻撃に強くなる保証は区別するんだ。
まとめ：ざっくりこれだけ覚えればOK！
「摂動（パータベーション）」って出てきたら「元の入力などに加える変化や、その変化分」と思えばだいたいOK！
📖 おまけ：英語の意味
「Perturbation」 ＝ 乱れ・変化・摂動
💬 AI以外の分野でも使う語だよ。AIの文脈でも、入力に加える変化と、攻撃を目的とするかどうかは区別して読むんだ。