【せつめいかのうなえーあい】

説明可能なAI(XAI) とは?

最終更新:
💡 AIの結果や処理を、人が理解できる形で説明する

AIの出力や処理について、人が理解できる根拠や説明を提供するための考え方・手法。説明しやすいモデルと、後から分析する方法がある。説明の分かりやすさ、実際の処理への忠実さ、判断の正確さは別に確かめる。

📌 このページのポイント
結果だけでなく、説明を確かめる結果のみAIの予測結果:猫判断の根拠は?結果と説明AIの予測結果:猫関連する箇所を表示説明の例:画像の一部を強調する説明は実際の処理に忠実か、別に評価説明があっても、判断の正確さは別
同じ予測について、結果のみの場合と説明を付ける場合を比べた独自の例。実モデルの測定結果ではありません。注目箇所や特徴の寄与は、現実の因果関係の証明にはなりません。
ひよこ ひよこ
XAIは、AIが理由を話すこと?
ペンギン先生 ペンギン先生
自然言語で話すことだけではないよ。説明しやすいモデルの規則を読む方法や、別の分析手法で結果に関係する特徴を示す方法などがある。もっともらしい文章が出ても、実際の処理を正しく説明しているかは別に確かめよう
ひよこ ひよこ
説明は、誰に向けて作るの?
ペンギン先生 ペンギン先生
開発者、利用者、判断を確認する人では、必要な内容や詳しさが違うよ。説明はモデルの問題を調べたり、結果をどう使うか考えたりする助けになる。相手と目的に合わせることが大切なんだ
ひよこ ひよこ
LIMEとSHAPは何をするの?
ペンギン先生 ペンギン先生
LIMEは、ある入力の近くでモデルに問い合わせ、分かりやすいモデルで局所的に近似する。SHAPはシャプレー値の考え方で、一つの予測に対する特徴量の寄与を示すよ。全ての内部処理をそのまま開示する方法ではないんだ
ひよこ ひよこ
寄与が大きければ、それが本当の原因?
ペンギン先生 ペンギン先生
予測に役立つ関係と、現実の原因は別だよ。SHAPで特徴の寄与が見えても、その特徴を変えれば現実の結果が必ず変わるとはいえない。どのデータや条件を基準に説明しているか、手法の前提も確認しよう
ひよこ ひよこ
説明しやすくすると、必ず精度が落ちる?
ペンギン先生 ペンギン先生
必ずではないよ。目的やデータによっては、説明しやすいモデルでも十分な精度を得られる。判断が正しいか、説明が処理を正しく表しているか、利用者に分かるかは別の評価。説明だけで公平さや安全性まで保証されるわけではないんだ
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「XAI」って出てきたら「AIの結果や処理を、人が理解できる形で説明するための手法」と思えばだいたいOK!
📖 おまけ:英語の意味
「Explainable Artificial Intelligence」 = 説明可能な人工知能
💬 XAIはこの英語表現の略だよ。モデルの結果だけでなく、それに関する根拠を、人と目的に合わせて示すことを目指すんだ

参考資料

← 用語集にもどる