【びーぴーいーとーくないざー】
BPEトークナイザー とは？
最終更新:
💡 よく並ぶペアをまとめる規則を学び、文章を区切る
学習データで頻出する隣接した記号のペアを結合し、語彙と結合順序を学ぶトークナイザー。入力文には学習済みの規則を適用してトークンへ分ける。
📌 このページのポイント
- 学習時に頻出する隣接ペアを繰り返し結合し、語彙と結合順序を作る
- 入力文のトークン化では、学習済みの結合規則を使う
- 単語全体が語彙になくても、小さな単位に分けて扱える
- 文字ベースでは未知の文字が問題になる場合があり、バイトレベルBPEとは区別する
ひよこ BPEはどうやって区切り方を決めるの？
ペンギン先生 まず学習データで、頻出する隣接した記号のペアをまとめる規則を学ぶよ。結合を繰り返して、語彙と結合順序を作るんだ。
ひよこ 文章を入れるたびに頻度を数え直すの？
ペンギン先生 通常は学習済みの規則を使うよ。図は、その規則を順に適用する例なんだ。
ひよこ 単語単位になるの？
ペンギン先生 単語全体になることも、小さなまとまりに分かれることもある。どんな語彙や規則を学んだかで変わるよ。
ひよこ 知らない文字でも必ず扱える？
ペンギン先生 文字を基本単位にする場合、語彙にない文字は未知トークンになることがある。バイトレベルBPEは256種類のバイトを基本にして、その問題を避ける方法だよ。
まとめ：ざっくりこれだけ覚えればOK！
「BPEトークナイザー」って出てきたら「よく並ぶペアをまとめる規則で文章を区切る仕組み」と思えばだいたいOK！
📖 おまけ：英語の意味
「Byte Pair Encoding」 ＝ バイトペア符号化
💬 もともとはデータ圧縮のために考案されたアルゴリズムで、それを自然言語処理のトークン化に応用したのがBPEトークナイザーだよ。