用語集2025/9/28
BERT（Bidirectional Encoder Representations from Transformers）
Googleが開発した双方向Transformerエンコーダ。事前学習とファインチューニングで自然言語理解タスクにおいて画期的な性能を実現。
難易度:
上級
読了時間:約6分
定義
BERTは双方向の文脈を同時に学習することで、従来の一方向モデルを大幅に上回る性能を実現。Masked Language ModelとNext Sentence Predictionによる事前学習が特徴です。
具体例
- BERT-Base：12層、768次元、110Mパラメータ
- BERT-Large：24層、1024次元、340Mパラメータ
- RoBERTa：最適化されたBERT、学習データ10倍増
活用事例
- 質問応答：SQuAD、Natural Questions等
- 感情分析：レビュー、SNS分析
- 固有表現認識：人名、地名、組織名抽出
関連概念
HuggingFace Hub、Google Cloud Natural Language AI、AWS Comprehendで事前学習済みモデルを活用。DistilBERT、TinyBERTで軽量化、TensorRTで推論高速化が実装の定石です。
📝 要約
Googleが開発した双方向Transformerエンコーダ。事前学習とファインチューニングで自然言語理解タスクにおいて画期的な性能を実現。
関連タグ
BERTNLP事前学習ファインチューニング双方向