トークナイザー とは？

単語に分けるだけとは限らないよ。文字・単語・単語の一部分などをトークンとして扱い、語彙に対応する番号であるIDに変えるんだ。BPE、WordPiece、Unigramなどの方式がある。たとえば長い単語をいくつかの部品に分ける場合もあるけれど、どこで分かれるかは使うトークナイザー次第だよ。

日本語も、そのモデルの分割ルールと語彙に従うよ。「今日は晴れ」を「今日」「は」「晴れ」とする図のような分け方は説明用の例で、実際に必ずそう分かれるわけではない。文字の一部やバイトに対応する単位を使うものもある。英語も日本語も、1文字や1単語が常に1トークンになるとは覚えないでおこう。

固定の倍率では決められないよ。文章の内容と、トークナイザーの語彙や前処理で変わるからね。日本語は英語の何倍、と一律にも言えない。大文字を小文字にする正規化や、開始・終了などを表す特殊トークンの追加がある場合もあるので、実際に使うモデルに対応した道具で数えよう。

必ずそうなるわけではないよ。モデルの入力上限と、切り詰めの設定を確認しよう。Hugging FaceのTransformersではtruncationなどで切り詰め方を指定できる。サービスによっては上限を超えた要求がエラーになることもある。重要な情報が残るように、分割や要約を含めて扱いを考えよう。

IDを語彙のトークンに戻し、文章にする処理をデコードと呼ぶよ。ただし小文字化やアクセントの除去などの正規化をした場合、元の表記がそのまま戻るとは限らない。トークン数は入力上限のほか、トークン単位の料金があるサービスでも関係するけれど、入力と出力の単価など、料金条件は別に確かめる必要があるんだ。