【セルフラグ】
Self-RAG とは？
最終更新:
💡 検索と生成に、学習したチェックを組み込む
検索が必要か、資料が関連しているか、生成文が資料に裏づけられているかなどを、学習した特殊トークンで評価するRAG手法です。文章を作る途中でも、必要に応じて検索します。
📌 このページのポイント
- 検索するかを、入力とそれまでの生成内容に応じて判断する
- 資料の関連性、生成文の裏づけ、有用性をそれぞれ評価する
- 特殊トークンの評価を、生成する候補の選択に利用する
- 自己評価は正しさの保証ではなく、資料や出力の確認も必要
ペンギン先生 まず、続きの文章を作るのに検索が役立つかを判断するよ。検索したら、資料が質問に関連しているか、生成文が資料に裏づけられているかも評価する。最後に、返答の有用性を評価するんだ。最初に一度だけ検索するか決める仕組みではないよ。
ひよこ 検索しなくても、文章は作れる？
ペンギン先生 ひよこ チェックは、普通の言葉で感想を書くの？
ペンギン先生 提案手法では、リフレクショントークンと呼ぶ特殊なトークンを生成するように学習しているよ。検索の要否、資料の関連性、資料による裏づけ、有用性は別の評価。検索した複数の資料から作った候補を、それらの評価も使って選ぶんだ。
ひよこ 「根拠あり」なら、内容は絶対に正しい？
ペンギン先生 資料が生成文を支えているという評価と、現実に正しいことは別だよ。資料自体が古かったり、モデルの評価が間違ったりすることもある。重要な内容は元資料と照合しよう。自己評価で誤りを減らそうとする手法で、正しさを保証する判定器ではないんだ。
ひよこ 使う人も、毎回モデルを学習するの？
ペンギン先生 特殊トークンの判断を学ぶための訓練が提案手法に含まれるけれど、著者は訓練済みモデルとコードも公開しているよ。使うたびに新しく訓練する意味ではない。検索の頻度や評価の重みなどを調整できる一方、処理時間や費用はモデル・検索回数・候補数などで変わるので、用途に合わせて検証しよう。
📖 おまけ：英語の意味
「Self-Reflective Retrieval-Augmented Generation」 ＝ 自己評価を取り入れた検索拡張生成
💬 2023年の研究で提案された手法だよ。人間の意識や反省を持つという意味ではなく、学習した特殊トークンで検索や生成を評価する仕組みなんだ。