【こゆうひょうげんにんしき】
固有表現認識(NER) とは?
最終更新:
💡 文章の中の「誰・どこ・いつ」を見つけて分類
文章から人名・地名・組織名・日付などの範囲を見つけ、種類を分類する自然言語処理の技術。対象の種類や抽出範囲は用途に合わせて決め、ルールや学習モデルで実装する。
📌 このページのポイント
固有表現認識は、何をするの?
たとえば「田中太郎は2024年4月に東京都でABC株式会社に入社した」という仮の文から、人名・日付・地名・組織名を取り出すよ。それぞれの文字の範囲と種類を決める技術なんだ。
固有名詞だけを見つけるの?
日付や数量、金額なども対象にできるよ。何を一つの表現として取り出すかは用途の基準で決める。単語の区切りを見つけることと、「ABC株式会社」全体を一つの組織名にすることは別の判断なんだ。
AIで学習しないと実装できない?
辞書や書き方のルールだけで抽出する方法もあるよ。学習モデルで文脈から判定する方法や、両者を組み合わせる方法もある。対象が決まった型か、新しい名前にも対応したいかなどで選ぶんだ。
文脈によって種類が変わることもある?
長い組織名の中の名前も取り出せる?
入れ子や重なりを扱えるかは、使うモデルや出力の仕組みによるよ。spaCyのEntityRecognizerは重ならない範囲を出す一方、SpanCategorizerは重なりを扱える。対象と基準を先に決め、対応する仕組みを選ぶんだ。
まとめ:ざっくりこれだけ覚えればOK!
「固有表現認識」って出てきたら「文章から人名や日付などを見つけて分類する技術」と思えばだいたいOK!
📖 おまけ:英語の意味
「Named Entity Recognition(NER)」 = 固有表現認識
💬 Named Entityは分類して取り出す対象、Recognitionは認識を表すよ。人や組織の名前だけでなく、日付や金額などを対象にすることもあるんだ。