【けいたいそかいせき】
形態素解析 とは？
最終更新:
💡 言葉をパーツに分解する職人技
文章を語などの単位に区切り、品詞や基本形などの情報を付ける自然言語処理。日本語では文字列から語の境界も推定する。区切り方は辞書や設定によって異なる。
📌 このページのポイント
- 文章を語などに区切り、品詞・基本形・読みなどの情報を得る
- 日本語では空白だけでは語の境界を判断できないため、辞書やモデルを使う
- MeCabやSudachiなどがあり、辞書や分割設定で結果が変わることもある
- 検索や文章分析などで利用されるが、すべてのAI処理に必須ではない
ひよこ 形態素解析って何をしているの？
ペンギン先生 文章を語などの単位に区切り、それぞれに品詞や基本形などを付ける処理だよ。MeCabの公式例では「すもももももももものうち」を「すもも／も／もも／も／もも／の／うち」と区切り、名詞や助詞の情報を付けているんだ
ひよこ 空白で区切ればいいのでは？
ペンギン先生 日本語には語と語の間に空白がないことが多いので、辞書やモデルを使って境界を推定するよ。英語でも空白で得られる単語と、その中の語の構成を調べることは別なんだ。空白分割だけで品詞や基本形まで決まるわけではないね
ひよこ 区切り方はいつも一つ？
ペンギン先生 辞書や設定によって変わるよ。例えばSudachiの公式例では「国家公務員」を一つに扱う設定、「国家／公務員」、「国家／公務／員」に分ける設定がある。未知の語の扱いも含め、解析結果が用途に合っているか確認しよう
ひよこ AIに文章を渡す前には必ず行う？
ペンギン先生 必ずではないよ。語の集計や検索などで使う方法はあるけれど、モデルに合わせたサブワード分割など、別の前処理もある。SentencePieceには、語へ事前に分けず、生の文から分割モデルを学習する方法もあるんだ。形態素とAIの入力トークンを同じものと決めつけないで理解しよう
まとめ：ざっくりこれだけ覚えればOK！
形態素解析って出てきたら「文章を語などに分け、品詞などの情報を付けること」と思えればだいたいOK！
📖 おまけ：英語の意味
「Morphological Analysis」 ＝ 形態の分析
💬 言語の形や構成を分析するという意味だよ。形態素は意味や文法上の働きを持つ最小の単位と考えるけれど、解析ツールの出力単位は辞書や設定によって変わるんだ