n-gramとは何ですか？

テキストから連続するn個の要素を取り出したもの。1個ならユニグラム、2個ならバイグラム、3個ならトライグラムと呼ぶ。検索やNLPの基本手法。

n-gramのポイントは？

テキストから連続するn個の単語や文字を切り出す手法。n=1がユニグラム、n=2がバイグラム、n=3がトライグラム。検索エンジンのインデックスやスペルチェックに広く活用される。形態素解析が難しい言語でもテキスト分割の代替手段になる

【えぬぐらむ】

n-gram とは？

💡 言葉を決まった窓幅でスライスする

📌 このページのポイント

テキストから連続するn個の単語や文字を切り出す手法
n=1がユニグラム、n=2がバイグラム、n=3がトライグラム
検索エンジンのインデックスやスペルチェックに広く活用される
形態素解析が難しい言語でもテキスト分割の代替手段になる

文字n-gramの切り出しイメージ

ひよこ

n-gramってなに？nは何の数字？

ペンギン先生

nは切り出す要素の個数だよ。テキストの上を窓をスライドさせながらn個ずつ取り出す手法なんだ。「あいうえお」を2-gram（バイグラム）にすると「あい」「いう」「うえ」「えお」の4つになるよ

ひよこ

単語単位でもできるの？

ペンギン先生

もちろんできるよ。文字n-gramと単語n-gramの2種類があるんだ。「I love cats」を単語バイグラムにすると「I love」「love cats」になる。文字単位か単語単位かは目的に応じて使い分けるよ

ひよこ

何に使うの？

ペンギン先生

代表的なのは検索エンジンだね。日本語は形態素解析で単語に分割するのが一般的だけど、n-gramなら辞書がなくても機械的に分割できる。未知語や新語にも対応しやすいのがメリットだよ。あとはスペルチェックや文書の類似度計算にも使われているんだ

ひよこ

nはいくつが一番いいの？

ペンギン先生

用途によるけど、文字n-gramならn=2か3、単語n-gramならn=1〜3がよく使われるよ。nが大きいほど文脈情報が増えるけど、組み合わせが爆発的に増えてメモリを食う。昔の言語モデルはn-gramの出現頻度で次の単語を予測していたんだけど、今のLLMはTransformerに置き換わった。それでもn-gramは計算が軽くて解釈しやすいから、検索やログ分析の現場では今でも現役だよ

まとめ：ざっくりこれだけ覚えればOK！

n-gramって出てきたら「テキストをn個ずつスライドしながら切り出したもの」と思えればだいたいOK！

📖 おまけ：英語の意味

「n-gram」＝ n個の連続要素

💬 gramはギリシャ語のgramma（文字・書かれたもの）が由来で、n個の文字や単語の並びをひとまとめにしたものという意味だよ

← 用語集にもどる