テキスト分類 とは？

一番身近なのは迷惑メールフィルターだよ。受信したメールの内容を分析して「通常メール」か「迷惑メール」かを自動で分類しているんだ。他にも、カスタマーサポートへの問い合わせを「返品」「不具合」「質問」などに自動で振り分けて、適切な担当者に回すのにも使われているよ。

基本的には「この種類の文章にはこういう単語やパターンがよく出てくる」ということを学習データから覚えるんだ。例えば迷惑メールなら「当選」「無料」「今すぐ」のような単語が多い。最近のモデルは単語だけでなく文脈全体を理解して分類できるから、巧妙な迷惑メールも見抜けるようになってきているよ。

感情分析はテキスト分類の一種なんだ。「ポジティブ」「ネガティブ」というカテゴリに分類しているわけだからね。テキスト分類はもっと広い概念で、ニュースを「政治」「経済」「スポーツ」に分けるのも、文書を「機密」「社外秘」「公開」に分けるのも全部テキスト分類だよ。

カテゴリが明確に分かれている場合は比較的うまくいくんだけど、「マルチラベル分類」になると途端に難しくなるんだ。一つの文書が複数のカテゴリに同時に属するケースね。例えばニュース記事「IT企業のCEOが政治献金」は「テクノロジー」でもあり「政治」でもある。しかもカテゴリ間の出現頻度に大きな偏り（クラス不均衡）があると、レアなカテゴリの分類精度が極端に下がる。学習データが少ないカテゴリをどう扱うかは実務で常に悩まされる問題で、オーバーサンプリングやコスト感応学習などいろいろな対策はあるけど、決定打はまだないんだよ。