トークンバジェット とは？

AIエージェントがタスクを処理する際に使えるトークン数の上限のことだよ。「このタスクには最大で〇〇トークンまで使っていいよ」という予算を設定する概念なんだ。

AIが文章を処理するときの最小単位だよ。日本語だとおおよそ1〜2文字が1トークン、英語だと1単語前後が1トークンのイメージ。トークンが多いほど、AIがより長く・深く考えられるけど、コストと時間がかかるんだ。

コスト管理のためだよ！たとえば「簡単な要約タスクに1000トークンで十分なのに、10000トークン使わせてしまう」と無駄にコストがかかる。反対に難しい問題に少ないトークンしか与えないと、答えが粗くなる。適切な設定が大事なんだ。

推論モデルは答えを出す前に「内部で考える（思考トークン）」というステップがあって、それがとても多くのトークンを使うからだよ。複雑な問題を解くのに数千トークンもかけて内部思考する。それを制御するのがトークンバジェットなんだ。

使うAPIによって違うけど、Anthropicのモデルなら「budget_tokens」パラメータで設定できるよ。タスクの複雑さに応じて動的に調整する仕組みを作ることもある。バジェット管理はAIエージェント開発の重要なコスト最適化テクニックのひとつなんだ。