【こゆうひょうげんにんしき】

固有表現認識(NER) とは?

最終更新:
💡 文章の中の「誰・どこ・いつ」を見つけて分類

文章から人名・地名・組織名・日付などの範囲を見つけ、種類を分類する自然言語処理の技術。対象の種類や抽出範囲は用途に合わせて決め、ルールや学習モデルで実装する。

📌 このページのポイント
NER:文章の範囲を見つけて分類 入力文(仮の例) 田中太郎は2024年4月に東京都で ABC株式会社に入社した 範囲と種類を判定 抽出した表現とラベル 人名 田中太郎 日付 2024年4月 地名 東京都 組織名 ABC株式会社 日付も対象。分類基準は用途に合わせて決める
文は説明用の仮例。矢印は入力文から抽出結果への処理を示し、色とラベルで人名・日付・地名・組織名を区別する。
ひよこ ひよこ
固有表現認識は、何をするの?
ペンギン先生 ペンギン先生
たとえば「田中太郎は2024年4月に東京都でABC株式会社に入社した」という仮の文から、人名・日付・地名・組織名を取り出すよ。それぞれの文字の範囲と種類を決める技術なんだ。
ひよこ ひよこ
固有名詞だけを見つけるの?
ペンギン先生 ペンギン先生
日付や数量、金額なども対象にできるよ。何を一つの表現として取り出すかは用途の基準で決める。単語の区切りを見つけることと、「ABC株式会社」全体を一つの組織名にすることは別の判断なんだ。
ひよこ ひよこ
AIで学習しないと実装できない?
ペンギン先生 ペンギン先生
辞書や書き方のルールだけで抽出する方法もあるよ。学習モデルで文脈から判定する方法や、両者を組み合わせる方法もある。対象が決まった型か、新しい名前にも対応したいかなどで選ぶんだ。
ひよこ ひよこ
文脈によって種類が変わることもある?
ペンギン先生 ペンギン先生
あるよ。Appleが会社名か果物かは、周囲の文章で判断する必要がある。日本語では文字の区切りにも注意するけれど、どの言語でも抽出範囲と分類基準を揃え、実際の文章で結果を評価することが大事だね。
ひよこ ひよこ
長い組織名の中の名前も取り出せる?
ペンギン先生 ペンギン先生
入れ子や重なりを扱えるかは、使うモデルや出力の仕組みによるよ。spaCyのEntityRecognizerは重ならない範囲を出す一方、SpanCategorizerは重なりを扱える。対象と基準を先に決め、対応する仕組みを選ぶんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「固有表現認識」って出てきたら「文章から人名や日付などを見つけて分類する技術」と思えばだいたいOK!
📖 おまけ:英語の意味
「Named Entity Recognition(NER)」 = 固有表現認識
💬 Named Entityは分類して取り出す対象、Recognitionは認識を表すよ。人や組織の名前だけでなく、日付や金額などを対象にすることもあるんだ。

参考資料

← 用語集にもどる