【どめいんとっかがたえるえるえむ】
ドメイン特化型LLM とは？
最終更新:
💡 専門分野の言葉と仕事に合わせて学ぶAI
特定の専門分野や業務に合わせて学習した大規模言語モデル。専門文書や用語、タスクを学習に取り込み、対象の用途で使いやすい出力や性能を目指す。
📌 このページのポイント
- 分野に合った文書やタスクを学習に取り込む
- 追加学習のほか、分野のデータを含めて最初から学習する例もある
- 一般モデルとの比較は、対象のタスクで評価する
- 専門化しても、誤りや古い情報がなくなる保証はない
ひよこ 幅広く答えるAIがあるのに、なぜ特化する？
ペンギン先生 専門用語や業務で必要な回答の形式などに、より合うモデルを目指すためだよ。例えば専門文書で追加学習したり、仕事の指示と回答の例を学習したりする。特化した名前だけで、すべての回答が正しくなるわけではないんだ。
ひよこ 作り方は、追加学習だけ？
ペンギン先生 それだけではないよ。既存モデルに分野の文書で学習を続ける方法や、タスクの例でファインチューニングする方法がある。BloombergGPTの研究では、金融分野と一般のデータを混ぜて学習したモデルを報告しているね。
ひよこ 小さいモデルでも、必ず強くなる？
ペンギン先生 大きさだけでは決まらないよ。学習データやタスク、比較対象によって結果は変わる。BloombergGPTの研究も、金融と一般のタスクを分けて評価している。特定の研究で良かった結果を、すべての専門モデルや業務へそのまま広げないようにしよう。
ひよこ 資料を検索するRAGも、同じ？
ペンギン先生 関連するけれど、専門データでモデルを学習することと、検索した資料を生成に使うことは別だよ。RAGの研究は、モデルの知識と外部の検索による情報を組み合わせる仕組みを扱っている。特化したモデルに検索を組み合わせることも考えられるね。
📖 おまけ：英語の意味
「Domain-Specific Large Language Model」 ＝ 分野特化型大規模言語モデル
💬 Domainは分野、Specificは特定の対象に合わせたという意味。モデルが扱う分野や業務に注目しよう。