トランスフォーマー とは？

AIの世界ではそう！2017年にGoogleの研究者たちが発表した論文のタイトルが「Attention is All You Need（アテンションさえあれば何でもできる）」で、その中で提案されたニューラルネットワークの設計なんだ。これがAIの歴史を変えたんだよ。

RNN（再帰型ニューラルネットワーク）というモデルが主流だったんだ。文章を最初から順番に処理していくのが特徴だけど、文章が長くなると前の情報を忘れやすいし、順番に処理するから並列計算が難しかった。トランスフォーマーはそれを一気に解決したんだよ。

「全部の単語を同時に見ながら関係性を計算できる」ことだよ。「彼女は猫を飼っていて、それをとても愛している」の「それ」が「猫」を指すと理解するには、文章の中の離れた単語の関係を把握しないといけない。トランスフォーマーのアテンション機構がまさにそれを可能にするんだ。

両方ともトランスフォーマーをベースにしているけど、使う部分が違うんだ。トランスフォーマーはエンコーダー（文章を理解する部分）とデコーダー（文章を生成する部分）に分かれている。BERTはエンコーダー部分だけを使って「文章の意味を深く理解する」用途に特化している。GPTはデコーダー部分だけを使って「次の単語を予測しながら文章を生成する」ことに特化している。同じ土台でも「どの部分を使うか」で得意なことが変わるのが面白いところだよ。