固有表現認識（NER） とは？

例えば「田中太郎は2024年4月に東京でABC株式会社に入社した」という文から、「田中太郎＝人名」「2024年4月＝日付」「東京＝地名」「ABC株式会社＝組織名」を自動で抽出するんだ。ニュース記事を自動分類したり、大量の文書から特定の情報を一括で抜き出すときに使うよ。

「青山」が人名なのか地名なのか、「Apple」が果物なのか会社名なのか、文脈がないと判断できないよね。辞書だけでは新しい人名や造語にも対応できない。だからAIが文脈を理解して判断する必要があるんだ。

英語は単語がスペースで区切られているし、固有名詞は大文字で始まるからヒントが多いんだ。でも日本語はスペースがないから、まず「どこからどこまでが一つの単語か」を判断する必要がある。「東京都庁」を「東京」「都庁」と分けるか「東京都」「庁」と分けるかで結果が変わってしまうんだよ。

「入れ子構造」の固有表現が厄介なんだ。例えば「東京大学大学院情報理工学系研究科」の中には「東京大学」「東京大学大学院」「情報理工学系研究科」と複数の固有表現が入れ子になっている。どの粒度で抽出するのが正解かはタスクによって変わるし、従来のNERモデルは入れ子を扱えない設計が多かった。最近はスパンベースの手法で入れ子にも対応できるようになってきたけど、計算コストが跳ね上がるし、アノテーションの基準をどう統一するかも含めて、簡単には解決しない問題なんだよ。