BERT とは？

例えば「銀行の___に行った」の空欄を埋めるとき、前の「銀行」だけでなく後ろの「行った」も手がかりにするよね。BERTは文章の前後両方を同時に見て理解するから、文脈の理解力がとても高いんだ。GPTは左→右の一方向だけだから、ここが大きな違いだよ。

文章中のいくつかの単語をランダムに隠して（マスクして）、その隠された単語を当てるクイズで学習する方法だよ。「今日は[MASK]が良い」という文を見て「天気」と予測する、みたいな感じ。この練習を大量にやることで文章の構造や意味を理解するんだ。

文章を「理解」するタスクが得意だよ。例えばレビューがポジティブかネガティブかを判定する感情分析、質問に対して文書から答えを見つける質問応答、文書をカテゴリ分けする文書分類などだね。Google検索でも検索クエリの意図理解にBERTが使われていたことがあるよ。

大きな違いは「双方向か一方向か」だよ。BERTは文章の前後両方向から理解する（Bidirectional）から、文脈の把握が得意。GPTは左から右への一方向で、次の単語を予測する生成が得意。だからBERTは分類・検索・質問応答に強く、GPTは文章生成・対話に強いんだ。面白いのは、BERTの事前学習で使われる「マスク言語モデル（15%の単語を隠して当てる）」というアイデアが、後のAI研究にも大きな影響を与えたことだよ。