トークンヒーリング とは？

おもしろい発想だね！傷というより、テキストを「トークン」に切り分ける境界線のズレを直す技術だよ。たとえば「import to」の途中まで入力されたとき、AIは「 to」を別の単語として扱ってしまうことがあるんだ

LLMはテキストを単語より細かい「トークン」単位で処理するんだけど、「 torch」（スペース付き）と「torch」は別トークンなんだ。入力が途中で切れると、そのスペースが失われてトークンが変わり、補完がおかしくなるよ

入力の末尾トークンを1つ「巻き戻して」、そこから考えられる続きをすべて再評価するんだ。「 to」で終わっていたら、「 tor」「 too」「 ton」なども候補に入れて最適な補完を選ぶんだよ

まさにそれが主な用途だよ。VSCodeのCopilotのようなコード補完では、ユーザーが入力途中で止まるケースが多いから、境界ズレの影響がとくに大きいんだ。ヒーリングを使うと補完の精度がぐっと上がるよ

計算コストが少し増えるね。末尾トークンを複数候補で再スコアリングするので、推論ステップが増えるんだ。でもMicrosoftの実験では品質向上のメリットがコストを大きく上回ると示されているよ

文章をゼロから書く場合はそもそもズレが起きにくいから恩恵は少ないんだ。入力を途中まで渡して続きを生成する「プレフィックス補完」、つまりコード補完・検索補完・自動修正の場面でとくに効果が大きいんだよ