トークン（AI） とは？

文字とは少し違うんだ。たとえば英語だと「I am happy」は「I」「am」「happy」の3トークンになるけど、「unhappy」は「un」「happy」の2トークンに分かれたりする。日本語だと1文字が1トークンになることもあるし、よく使う単語はまとめて1トークンになることもあるよ。

AIは数字しか扱えないから、文章をまず小さな単位に分けて、それぞれに番号を振る必要があるんだ。辞書みたいに「この単語は1234番」って対応表を作るイメージだね。単位が細かすぎると処理が大変だし、大きすぎると語彙が膨大になるから、ちょうどいいサイズに分けるのがトークンの役割だよ。

そのとおり！ChatGPTのAPIなどは、入力と出力のトークン数に応じて課金される仕組みなんだ。だから同じ質問でも、長い前置きをつけるとトークン数が増えて料金が上がる。プロンプトを短く効率的に書くのが、コスト削減のコツだよ。

OpenAIのtiktokenライブラリや、Webツール（OpenAI Tokenizer）で確認できるよ。日本語は英語よりトークン数が多くなりがちで、同じ意味の文章でも日本語は英語の1.5〜2倍のトークンを消費する。APIのコストを管理するなら、トークン数を意識したプロンプト設計が重要だよ。

英語なら約10万語、日本語なら文庫本2〜3冊分くらいの情報量だよ。GPT-4 Turboは128K、Claude 3は200Kトークンのコンテキストウィンドウを持つ。ただし「長く入れられる」ことと「長い入力を正確に理解できる」ことは別問題で、重要な情報がプロンプトの中間にあると見落とされやすい「Lost in the Middle」問題が知られている。長ければいいというものではないんだよ。