什么是 Transformer模型？
Transformer模型是一种深度学习架构，由 Google 研究人员在具有里程碑意义的论文《Attention Is All You Need》（2017）中提出，它通过用自注意力机制取代循环神经网络，彻底革新了自然语言处理领域，实现了序列数据的并行处理，并能更有效地捕获长距离依赖关系。
快速了解
| 创建时间 | 2017 年由 Google（Vaswani 等人）提出 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
Transformer 架构从根本上改变了神经网络处理序列数据的方式，消除了对循环和卷积的依赖。该模型的核心是多头自注意力机制，它允许序列中的每个位置同时关注所有其他位置，使模型能够捕获复杂的关系，而不受距离限制。该架构由编码器-解码器结构组成，编码器处理输入序列，解码器生成输出序列。由于模型本身没有序列顺序的概念，因此需要在输入嵌入中添加位置编码来提供词元位置信息。Transformer 已成为 NLP 领域大多数最先进模型的基础，包括 BERT、GPT 和 T5，并已成功应用于计算机视觉、音频处理和多模态应用。
主要特点
- 自注意力机制实现所有序列位置的并行计算
- 多头注意力同时捕获不同类型的关系
- 位置编码为模型注入序列顺序信息
- 编码器-解码器架构用于序列到序列任务
- 层归一化和残差连接确保深层网络训练稳定
- 相比 RNN 和 LSTM 等循环架构具有高度可并行性
常见用途
- 大语言模型（GPT、BERT、LLaMA）用于文本生成和理解
- 机器翻译和多语言自然语言处理
- 视觉 Transformer（ViT）用于图像分类和目标检测
- 多模态模型结合文本、图像和音频理解
- 语音识别和文本转语音合成系统
示例
Loading code...常见问题
Transformer 为什么能取代 RNN 和 LSTM？
Transformer 的优势在于：1）自注意力机制允许并行计算所有位置，而 RNN 必须顺序处理；2）能直接建模任意距离的依赖关系，不受 RNN 的长距离依赖问题困扰；3）训练效率更高，可以充分利用 GPU 并行能力；4）通过多头注意力同时捕获不同类型的关系。这些优势使 Transformer 在性能和效率上全面超越循环架构。
什么是自注意力机制？它是如何工作的？
自注意力机制让序列中的每个位置都能关注所有其他位置。工作原理：将输入转换为 Query、Key、Value 三个向量，计算 Query 与所有 Key 的相似度得到注意力权重，用权重对 Value 加权求和得到输出。这使模型能动态地根据上下文决定关注哪些信息，而不是固定的局部窗口。
编码器-解码器架构和仅解码器架构有什么区别？
编码器-解码器架构（如原始 Transformer、T5）：编码器处理输入序列，解码器生成输出序列，适合翻译、摘要等序列到序列任务。仅解码器架构（如 GPT 系列）：只有解码器，自回归生成文本，适合文本生成任务。仅编码器架构（如 BERT）：只有编码器，适合理解任务如分类、问答。
位置编码为什么对 Transformer 很重要？
Transformer 的自注意力机制本身不包含位置信息——它将输入视为无序集合。位置编码向输入嵌入中注入序列顺序信息，使模型能区分'猫追狗'和'狗追猫'。常见方法包括：正弦位置编码（原始论文）、可学习位置嵌入（BERT）、旋转位置编码 RoPE（LLaMA）等。
Transformer 在计算机视觉领域是如何应用的？
Vision Transformer（ViT）将图像分割成固定大小的图块（patch），将每个图块线性投影为向量，加上位置编码后输入标准 Transformer 编码器。这种方法在大规模数据集上训练后，性能超越了传统 CNN。后续发展包括 Swin Transformer（层次化结构）、DeiT（数据高效训练）等，Transformer 已成为视觉领域的主流架构之一。