ハルシネーション とは？

AIは「次のトークンとして確率が高いものを選ぶ」という仕組みで動いているんだ。「正しいかどうか」ではなく「それらしいかどうか」で文章を生成する。だから「それらしく見える嘘」を作ってしまうことがあるんだよ。

学習データに情報が少ない分野や、最新の出来事についての質問で起きやすいよ。あとはAIが「知らない」と言わずに答えようとするときにも起きる。「〇〇についての論文を教えて」と聞くと、実在しない論文タイトルと著者名を作り出すことがあるんだ。

今の技術では完全ゼロにするのは難しいんだ。RAGや事実確認の仕組みを組み込むことで減らすことはできるけど。だから医療や法律など重要な判断にAIを使うときは、必ず人間が確認するプロセスが必要だよ。

これがAIの根本的な難しさでね。「わからない」と判断するためには「自分が知っているか知らないかを認識する」メタ認知能力が必要なんだ。人間でも「知らないことを知らない」という状況があるよね。AIは学習データにある知識と空白の境界が曖昧で、「これについて自分は確信を持てるか」という不確実性を正確に推定する仕組みを持つのがとても難しい。Calibration（出力の確信度が実際の正解率に合っているか）という研究が進んでいるけど、まだ解決された問題じゃないんだよ。