【はるしねーしょん】
ハルシネーション とは？
最終更新:
💡 AIが「自信満々に嘘をつく」現象
📌 このページのポイント
- AIが事実と異なる情報をもっともらしく生成してしまう問題
- 存在しない論文・URLなども堂々と作り上げることがある
- 確率的な文章生成の性質上、完全に防ぐことは難しい
- 重要な情報はAIの出力を鵜呑みにせず別途確認することが大切
ひよこ ハルシネーションってどうして起きるの？
ペンギン先生 AIは「次のトークンとして確率が高いものを選ぶ」という仕組みで動いているんだ。「正しいかどうか」ではなく「それらしいかどうか」で文章を生成する。だから「それらしく見える嘘」を作ってしまうことがあるんだよ。
ひよこ どんなときにハルシネーションが起きやすいの？
ペンギン先生 学習データに情報が少ない分野や、最新の出来事についての質問で起きやすいよ。あとはAIが「知らない」と言わずに答えようとするときにも起きる。「〇〇についての論文を教えて」と聞くと、実在しない論文タイトルと著者名を作り出すことがあるんだ。
ひよこ 完全になくすことはできないの？
ペンギン先生 ひよこ AIが「わからない」って言えばいいじゃないの？なんで嘘をつくの？
ペンギン先生 これがAIの根本的な難しさでね。「わからない」と判断するためには「自分が知っているか知らないかを認識する」メタ認知能力が必要なんだ。人間でも「知らないことを知らない」という状況があるよね。AIは学習データにある知識と空白の境界が曖昧で、「これについて自分は確信を持てるか」という不確実性を正確に推定する仕組みを持つのがとても難しい。Calibration（出力の確信度が実際の正解率に合っているか）という研究が進んでいるけど、まだ解決された問題じゃないんだよ。
まとめ：ざっくりこれだけ覚えればOK！
「ハルシネーション」って出てきたら「AIが自信を持って嘘をつく現象」と思えればだいたいOK！
📖 おまけ：英語の意味
「hallucination」 ＝ 幻覚
💬 医学用語の「幻覚」から来ている。実際にはないものが「あるように見える」現象をAIの誤生成に例えた言葉だよ