解釈可能性（AI） とは？

出力が分かっても、モデルがどんな情報を使ってそう判断したかが、人間に分かるとは限らないよ。解釈可能性では、モデルの振る舞いや、その出力の意味・根拠をどの程度理解できるかを考えるんだ。

分かりやすさだけでは足りないよ。もっともらしい説明でも、実際のモデルの処理を正しく表していない場合がある。説明がモデルに忠実か、モデルの判断自体が正しいか、安全に使えるかは、それぞれ確認する必要があるね。

小さな決定木など、人が構造を読んで判断を追えるモデルを選ぶ方法があるよ。複雑なモデルに対して、入力のどの部分が予測に影響するかなどを後から調べる方法もある。ただし決定木でも巨大になると追いにくいので、モデルの名前だけでは判断できないね。

XAIは説明可能AIの略で、モデルの説明を作る手法や研究などを指すよ。解釈可能性と説明可能性を近い意味で使う資料もあるけれど、区別する資料もある。例えばNISTのAI RMFは、動作の仕組みの説明と、用途の文脈で出力の意味を理解することを区別しているんだ。

必ずではないよ。精度と解釈可能性の間に調整が必要な場合はあるけれど、解釈しやすいモデルでも高い精度を得られる場合がある。データや課題、使う人の目的に合わせて、精度と理解のしやすさを実際に評価しよう。