【つりーおぶそーと】
Tree-of-Thought とは？
最終更新:
💡 途中の候補を比べ、進む経路や戻る先を探す
言語モデルで推論の途中の候補を生成・評価し、探索木として複数の経路を調べる枠組み。幅優先・深さ優先などの探索で、候補の選択や戻りを管理する。有望さの評価は手がかりであり、最適解や正解を保証するものではない。
📌 このページのポイント
- 途中の推論を単位にして、複数の候補を生成する
- 候補を評価し、次に探索する経路を選ぶ
- 幅優先・深さ優先などで探索や枝刈りを管理する
- 効果は問題と設定による。評価や計算コストも考える
ひよこ Chain-of-Thoughtと何が違う？
ペンギン先生 ひとつの推論を順に進めるだけでなく、途中で複数の候補を出し、比較して探索するんだ。論文の枠組みでは、考える単位、生成、評価、探索の方法を組み合わせるよ。
ひよこ 思考の単位って一単語？
ペンギン先生 問題に合わせるよ。数のパズルなら途中の計算式、文章なら構成の案などだね。モデルの内部状態をそのまま見ているのではなく、生成した候補を探索の状態として扱うんだ。
ひよこ 全部の枝を調べるの？
ペンギン先生 評価をもとに候補を絞ったり、行き詰まったら戻ったりするよ。幅優先や深さ優先などの探索を使う。ただし評価が間違えば、正解につながる候補を除く可能性もあるんだ。
ひよこ どんな問題にも必ず有効？
ペンギン先生 論文では24ゲーム、文章作成、小さなクロスワードで効果を調べているよ。その実験が、あらゆる問題での優位や最適解を保証するわけではない。候補を生成して評価する分の計算や費用も考えるんだ。
ひよこ 推論モデルなら内部で必ずこれを使っている？
ペンギン先生 推論モデルという名前だけでは、内部がこの方式だとは分からないよ。元のToTは既存のモデルを使って外側で生成・評価・探索を組み合わせる枠組み。特定モデルの内部方式は、その公開資料で別に確認するんだ。
まとめ：ざっくりこれだけ覚えればOK！
「Tree-of-Thought」って出てきたら「推論の途中の候補を木のように探索する方法」と思えばだいたいOK！
📖 おまけ：英語の意味
「Tree of Thoughts」 ＝ 思考の木
💬 途中の推論を節点、そこから進む候補を枝として表す探索木にたとえた名前だよ。論文ではTree of Thoughtsという複数形を使っているんだ。