Transformer（トランスフォーマー）

Transformerとは

Transformer（トランスフォーマー）は、2017年にGoogleの論文「Attention Is All You Need」で提案された深層学習アーキテクチャです。ChatGPT、Claude、Geminiなど現代のLLMはほぼすべてTransformerをベースにしています。

何が革新的だったか

Transformer以前の主流だったRNNやLSTMは、文章を1語ずつ順番に処理するため、長文に弱く学習も遅いという弱点がありました。

TransformerはAttention機構を中核に据え、次のような特徴を実現しました。

• 並列処理が可能: 文章全体を同時に扱えるため学習が高速
• 長距離の関係を捉えられる: 文の離れた位置同士の関係も直接参照
• スケールしやすい: 大きくすればするほど性能が伸びる

構造の要点

• Self-Attention: 文中のどの単語同士が関連しているかを算出
• 位置エンコーディング: 単語の順序情報を付与
• 残差接続・正規化: 深いネットワークを安定して学習

エンコーダー・デコーダー型（翻訳向け）と、デコーダーのみの型（GPT系の文章生成向け）など派生があります。

他との関係

TransformerはLLMの「エンジン」にあたる中核技術で、基盤モデル・生成AIの爆発的進化を支えています。士業で使うChatGPTやClaudeも、すべてこの仕組みの上で動いています。