トークナイザー とは？

そうなんだ。英語なら単語で区切れることが多いけど、「unhappy」を「un」「happy」に分けたり、「running」を「run」「ning」に分けたりすることもある。サブワード分割と呼ばれる手法で、珍しい単語も既知の部品の組み合わせで扱えるようにしているんだよ。

日本語はスペースで区切られないから難しいんだ。「東京タワーに登った」は「東京」「タワー」「に」「登った」とかに分かれることもあれば、文字一文字ずつになることもある。BPE（バイトペアエンコーディング）という手法がよく使われていて、よく一緒に出てくる文字の組み合わせをどんどんまとめていく仕組みなんだよ。

APIの料金は「入力トークン数 × 単価」で計算されることが多いんだ。それに、AIが一度に処理できるトークン数には上限（コンテキストウィンドウ）があって、超えると入力が切り捨てられる。長い文書を処理するときはトークン数を意識することが重要なんだよ。

多くなりやすいのは本当で、これがLLMの日本語コストを押し上げる要因の一つになっているんだ。英語のトークナイザーを日本語に流用したとき、日本語の文字をバイト単位に分解して処理することがある。例えば漢字一文字が3バイトのUTF-8で表されると、3トークン消費することがある。同じ意味の内容でも日本語は英語の3〜5倍のトークンを消費することがあって、多言語対応のトークナイザー設計はLLM開発の重要な課題の一つなんだよ。