「Attention Is All You Need」の発明者がOpenAIへ — TransformerがAIを変えた理由

いい質問だね！「Attention Is All You Need」は2017年にGoogleが発表した論文で、「Transformer」というAIの仕組みを提案したんだ。その後、GPT（ChatGPT）もBERTもClaudeもGeminiも、現代の大規模言語モデルはほぼ全部Transformerをベースにしてる。移籍したNoam Shazeerはその共同発明者の一人なんだよ。

GoogleでGeminiを開発していたんだ。実はShazeerは一度2021年にGoogleを辞めてCharacter.AIという会社を共同創業してた。でもGoogleは2024年に約2700億円（$2.7B）でCharacter.AIの技術ライセンスを取得し、彼をGoogle DeepMindに戻したんだ。それだけの価値がある研究者ってわかるよね。そして2026年6月18日、今度はOpenAIへ移ることを発表したよ。

Transformer以前のAIは「RNN（再帰型ニューラルネットワーク）」を使っていたよ。RNNは文章を1単語ずつ順番に読む仕組みで、「学習が遅い」「長い文章は文脈を保持しにくい」という弱点があった。TransformerはSelf-Attention（自己注意機構）という発想で、全単語の関係を同時に計算できるようにしたんだ。並列処理できて速いし、長い文章でも文脈をしっかりつかめるようになったよ。

たとえば「I saw her duck」という文があったとして、「duck」は「アヒル」か「かがむ」か曖昧だよね。Self-Attentionは文中の全単語に「どれだけ注目すべきか」というスコアをつけて、文脈から意味を判定するんだ。「duck」を理解するために「I」「saw」「her」との関係を数値で計算して、最終的な意味を決める。旧来のRNNとTransformerを比較するとこんな違いがあるよ。

項目	RNN/LSTM（旧世代）	Transformer（現在主流）
学習の並列化	不可（1単語ずつ順次処理）	可能（全単語を同時処理）
長文の文脈保持	苦手（勾配消失問題）	得意（Attentionで全結合）
スケールの伸びしろ	低い	高い（パラメータ∝性能）
代表モデル	旧Google翻訳, Word2Vec	GPT-4, Claude, Gemini

「並列化できる」というのが特にポイントで、GPUをフル活用できるようになったことで、巨大モデルを現実的な時間で学習できるようになったんだよ。

大事な節目を並べると、2017年のTransformer論文のあと、2018年にGoogleがBERTを発表、2020年にGPT-3（1750億パラメータ）、2022年にChatGPTが一般公開されてAIブームが来た。2024年にはShazeerがGoogleに2700億円で戻り、2026年6月に今度はOpenAIへ。まさにTransformerと一緒にAI産業が巨大化してきた歴史でもあるんだよ。

彼はOpenAIで「アーキテクチャ研究のリード」という役職につくんだ。現在のTransformerにはまだ課題があって、たとえばコンテキストが長くなると計算量が入力長の2乗で増えるという問題がある。「Transformer以降の次の設計」を研究すると見られてる。発明者本人が今度はOpenAIで次世代アーキテクチャを作るかもしれない — それがこのニュースの最大の意味なんだよ。

そうだね。「Attention Is All You Need」の著者8人はその後、Google、OpenAI、DeepMind、Meta、独立スタートアップとそれぞれの道に進んで、今のAI業界の主要プレイヤーを作っていったんだ。一本の論文がAIの歴史を変えたともいえるよ。Shazeerの移籍は、AI産業の競争がアーキテクチャの根本から争われている時代に入ったことを象徴しているんだよ。