定義

Transformerの革命

2017年のGoogleの論文「Attention Is All You Need」で提案されたTransformerは、従来のRNN/CNNに代わる新しいアーキテクチャです。自己注意機構により、系列データの並列処理と長距離依存関係の学習を同時に実現しました。

具体例

核心メカニズム

• Multi-Head Attention：複数の注意ヘッドで異なる表現を学習
• Position Encoding：位置情報の明示的エンコーディング
• Feed-Forward Networks：各位置での独立変換

活用事例

• GPTシリーズ：デコーダのみの自己回帰モデル
• BERT：双方向エンコーダ、文脈理解に特化
• Vision Transformer：画像を16x16パッチに分割して適用

関連概念

クラウド実装では、HuggingFace Transformers、Fairseq、T5Xライブラリが標準。TPU v4で効率的な分散学習、ONNX変換で推論最適化が重要な実装パターンです。