在注明出处的前提下，Google 特此授权仅出于新闻或学术目的复制本文中的表格与图表。
Provided proper attribution is provided, Google hereby grants permission to reproduce the tables and figures in this paper solely for use in journalistic or scholarly works.

注意力就是你所需要的一切

Attention Is All You Need

Ashish Vaswani* Noam Shazeer* Niki Parmar* Jakob Uszkoreit*
Llion Jones* Aidan N. Gomez*† Łukasz Kaiser* Illia Polosukhin*‡

Google Brain（Vaswani、Shazeer、Kaiser）· Google Research（Parmar、Uszkoreit、Jones）· 多伦多大学（Gomez）
avaswani@google.com · noam@google.com · nikip@google.com · usz@google.com · llion@google.com · aidan@cs.toronto.edu · lukaszkaiser@google.com · illia.polosukhin@gmail.com

第 31 届神经信息处理系统大会（NIPS 2017）|美国加州长滩|arXiv:1706.03762v7 [cs.CL]

译注｜本译文基于 arXiv:1706.03762v7（2023-08-02）全文翻译；全部图表直接取自原论文。专业术语在首次出现处附英文原文，文末附术语对照表与参考文献（参考文献保留英文原文）。原文脚注以「注」的形式就近呈现。Transformer 一词为模型专有名称，全文保留不译。

目录

1. 摘要
2. 引言
3. 背景
4. 模型架构
5. 为什么选择自注意力
6. 训练
7. 结果
8. 结论
9. 致谢
10. 参考文献
11. 附录：注意力可视化
12. 附录：术语对照表

摘要｜主流的序列转换模型基于复杂的循环神经网络或卷积神经网络，它们都包含一个编码器和一个解码器，而表现最好的模型还会通过注意力机制将编码器与解码器连接起来。我们提出一种新的简洁网络架构——Transformer，它完全基于注意力机制，彻底摒弃了循环与卷积。在两个机器翻译任务上的实验表明：该模型在质量上更优，同时具备更强的可并行性，且训练所需时间显著更少。我们的模型在 WMT 2014 英德翻译任务上取得 28.4 BLEU，比包括集成模型在内的既有最佳结果高出 2 BLEU 以上；在 WMT 2014 英法翻译任务上，我们的模型在 8 块 GPU 上训练 3.5 天后即取得 41.8 BLEU 的单模型新纪录——这只是文献中最佳模型训练成本的一小部分。我们还把 Transformer 成功应用到大数据与受限数据两种设定的英语成分句法分析上，证明它具有良好的泛化能力。

 * 同等贡献，作者排序随机。Jakob 提出用自注意力取代 RNN，并发起了对这一想法的评估工作；Ashish 与 Illia 一起设计并实现了最初的 Transformer 模型，并深度参与本工作的方方面面；Noam 提出了缩放点积注意力、多头注意力以及免参数的位置表示，成为另一位参与几乎所有细节的人；Niki 在我们的原始代码库和 tensor2tensor 中设计、实现、调优并评估了无数模型变体；Llion 同样试验了许多新颖的模型变体，并负责我们最初的代码库、高效推理与可视化；Lukasz 和 Aidan 花了无数个漫长的日夜设计并实现 tensor2tensor 的各个部分，替换了我们早期的代码库，大幅提升了结果并显著加速了我们的研究。
† 工作完成于 Google Brain。 ‡ 工作完成于 Google Research。

1 引言Introduction

循环神经网络——尤其是长短期记忆网络（LSTM）[13] 和门控循环神经网络 [7]——早已被确立为序列建模与序列转换问题（如语言建模和机器翻译 [35, 2, 5]）的最先进方法。此后的大量工作继续推动着循环语言模型与编码器-解码器架构的边界 [38, 24, 15]。

循环模型通常沿输入、输出序列的符号位置来分解计算：把各个位置与计算时间步对齐之后，模型生成一个隐藏状态序列 h_t，每个 h_t 是前一个隐藏状态 h_t−1 和位置 t 处输入的函数。这种固有的串行特性使得训练样本内部无法并行，且当序列变长时问题尤为关键——因为内存约束限制了跨样本的批处理。近期的若干工作通过因式分解技巧 [21] 和条件计算 [32] 在计算效率上取得了显著提升（后者还同时改善了模型表现），但「串行计算」这一根本约束依然存在。

注意力机制已经成为各种任务中许多优秀序列建模与转换模型不可或缺的组成部分：它让模型可以无视依赖在输入或输出序列中的距离远近来进行建模 [2, 19]。然而，除极少数例外 [27]，这些注意力机制都是与循环网络结合使用的。

本工作中，我们提出 Transformer——一种摒弃循环结构、完全依赖注意力机制来建立输入与输出之间全局依赖关系的模型架构。Transformer 带来了显著更高的并行化程度：在 8 块 P100 GPU 上仅训练十二个小时，它就能达到新的最先进翻译质量。

2 背景Background

「减少串行计算」这一目标同样是 Extended Neural GPU [16]、ByteNet [18] 和 ConvS2S [9] 的基础，它们都以卷积神经网络作为基本构件，对所有输入、输出位置并行地计算隐藏表示。在这些模型中，把任意两个输入或输出位置的信号关联起来所需的操作数，会随两位置间的距离增长——ConvS2S 是线性增长，ByteNet 是对数增长。这使得学习远距离位置间的依赖关系变得更加困难 [12]。而在 Transformer 中，这一开销被降到了常数级操作数；代价是注意力加权后的平均会降低有效分辨率，我们用 3.2 节描述的多头注意力（Multi-Head Attention）来抵消这一影响。

自注意力（self-attention，有时也称为内部注意力 intra-attention）是一种将单个序列中不同位置关联起来、以计算该序列表示的注意力机制。自注意力已成功应用于多种任务，包括阅读理解、抽象式摘要、文本蕴含以及与任务无关的句子表示学习 [4, 27, 28, 22]。端到端记忆网络则基于循环注意力机制（而非序列对齐的循环结构），已被证明在简单语言的问答和语言建模任务上表现良好 [34]。

然而，据我们所知，Transformer 是第一个完全依靠自注意力来计算输入与输出表示、而不使用序列对齐 RNN 或卷积的转换模型。在后续章节中，我们将描述 Transformer、论证采用自注意力的理由，并讨论它相对于 [17, 18] 和 [9] 等模型的优势。

3 模型架构Model Architecture

绝大多数有竞争力的神经序列转换模型都采用编码器-解码器结构 [5, 2, 35]。其中，编码器把符号表示的输入序列 (x₁, …, x_n) 映射为连续表示的序列 z = (z₁, …, z_n)；给定 z，解码器每次生成一个元素，逐步产生符号输出序列 (y₁, …, y_m)。在每一步，模型都是自回归的（auto-regressive）[10]——生成下一个符号时，会把先前已生成的符号作为额外输入。

Transformer 沿用了这一整体架构：编码器和解码器都由堆叠的自注意力层与逐位置全连接层组成，分别对应图 1 的左半部分与右半部分。

3.1 编码器与解码器堆栈Encoder and Decoder Stacks

编码器

编码器由 N = 6 个完全相同的层堆叠而成。每层包含两个子层：第一层是多头自注意力机制；第二层是简单的逐位置全连接前馈网络。我们在两个子层周围各使用一个残差连接 [11]，随后接层归一化 [1]。也就是说，每个子层的输出为 LayerNorm(x + Sublayer(x))，其中 Sublayer(x) 是该子层自身所实现的函数。为便于这些残差连接，模型中所有子层以及嵌入层的输出维度均为 d_model = 512。

解码器

解码器同样由 N = 6 个完全相同的层堆叠而成。除了编码器每层的两个子层之外，解码器还插入了第三个子层，对编码器堆栈的输出执行多头注意力。与编码器类似，我们对每个子层使用残差连接，随后接层归一化。我们还修改了解码器堆栈中的自注意力子层，以防止当前位置关注后续位置。这种掩码做法，加上输出嵌入偏移一个位置的事实，确保了位置 i 的预测只能依赖于小于 i 的已知输出。

3.2 注意力Attention

注意力函数可以描述为：将一个查询（query）和一组键-值对（key-value pairs）映射到一个输出，其中查询、键、值和输出都是向量。输出是值的加权和，其中分配给每个值的权重，由查询与对应键经兼容性函数计算得到。

3.2.1 缩放点积注意力Scaled Dot-Product Attention

我们把本文所用的注意力称为「缩放点积注意力」（Scaled Dot-Product Attention）（图 2）。输入由维度为 d_k 的查询和键、以及维度为 d_v 的值组成。我们计算查询与所有键的点积，将每个结果除以 √d_k，再应用 softmax 函数，得到值上的权重。

实际中，我们把一组查询打包成矩阵 Q，同时对这些查询计算注意力函数；键和值同样打包成矩阵 K 与 V。输出矩阵计算如下：

Attention(Q, K, V) = softmaxQK^T√d_kV

(1)

两种最常用的注意力函数是加性注意力 [2] 与点积（乘性）注意力。点积注意力与我们的算法完全一致，只差一个缩放因子 1/√d_k。加性注意力用一个带单隐藏层的前馈网络来计算兼容性函数。两者理论复杂度相近，但点积注意力在实践中快得多也更省空间，因为它可以用高度优化的矩阵乘法代码来实现。

当 d_k 较小时，两种机制表现相当；而当 d_k 较大时，加性注意力优于不加缩放的点积注意力 [3]。我们猜测：当 d_k 较大时，点积的绝对值会变得很大，从而把 softmax 函数推入梯度极小的区域。^† 为抵消这一影响，我们把点积缩放 1/√d_k。

为了说明点积为什么会变大：假设 q 与 k 的各分量是均值为 0、方差为 1 的独立随机变量，那么它们的点积 q·k = Σ_i=1^d_k q_ik_i 的均值为 0、方差为 d_k。

3.2.2 多头注意力Multi-Head Attention

与其在 d_model 维的键、值和查询上执行单次注意力函数，我们发现：把查询、键、值分别用 h 组不同的、可学习的线性投影先投影到 d_k、d_k、d_v 维是有益的。在这些投影后的查询、键、值上，我们并行执行注意力函数，各自得到 d_v 维的输出；把这些输出拼接后再做一次投影，即得到最终结果，如图 2 所示。

多头注意力让模型能够联合关注不同表示子空间、不同位置上的信息；而单头注意力做平均，会抑制这种能力。

MultiHead(Q, K, V) = Concat(head₁, …, head_h) W^O

其中 head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)

其中投影为参数矩阵 W_i^Q ∈ ℝ^dmodel×dk、W_i^K ∈ ℝ^dmodel×dk、W_i^V ∈ ℝ^dmodel×dv，以及 W^O ∈ ℝ^{h·dv×dmodel}。

本工作中，我们采用 h = 8 个并行的注意力层（即「头」）。每个头使用 d_k = d_v = d_model/h = 64。由于每个头的维度降低了，总计算量与全维度单头注意力相当。

3.2.3 注意力在本模型中的三种用法Applications of Attention in our Model

• 在「编码器-解码器注意力」层中，查询来自解码器的上一层，而记忆键和值来自编码器的输出。这让解码器的每个位置都能关注输入序列的所有位置。这与序列到序列模型（如 [38, 2, 9]）中典型的编码器-解码器注意力机制一致。
• 编码器中包含自注意力层。在自注意力层中，所有键、值和查询都来自同一处——此处即编码器上一层的输出。编码器的每个位置都可以关注编码器上一层的所有位置。
• 类似地，解码器中的自注意力层允许每个位置关注解码器中「截至并包含该位置」的所有位置。为保持自回归性质，必须防止解码器中的左向信息流动。我们在缩放点积注意力内部实现这一点：将 softmax 输入中所有对应非法连接的值掩蔽掉（设为 −∞）。见图 2。

3.3 逐位置前馈网络Position-wise Feed-Forward Networks

除注意力子层外，编码器和解码器的每一层还包含一个全连接前馈网络，它被独立且相同地应用于每个位置。该网络由两个线性变换组成，中间夹一个 ReLU 激活：

FFN(x) = max(0, xW₁ + b₁)W₂ + b₂

(2)

虽然线性变换在不同位置上完全相同，但不同层之间使用不同的参数。换一种说法，这相当于两个核大小为 1 的卷积。输入、输出的维度为 d_model = 512，内层维度为 d_ff = 2048。

3.4 嵌入与 SoftmaxEmbeddings and Softmax

与其他序列转换模型类似，我们使用可学习的嵌入把输入 token 和输出 token 转换为 d_model 维向量。我们也用常规的可学习线性变换加 softmax 函数，把解码器输出转换为下一个 token 的预测概率。在我们的模型中，两个嵌入层与 softmax 前的线性变换共享同一个权重矩阵，做法类似 [30]。在嵌入层中，我们将这些权重乘以 √d_model。

3.5 位置编码Positional Encoding

由于模型不含循环也没有卷积，为了让模型利用序列的顺序信息，我们必须注入一些关于 token 相对或绝对位置的信息。为此，我们在编码器堆栈和解码器堆栈底部的输入嵌入上加上「位置编码」。位置编码与嵌入同为 d_model 维，因此二者可以直接相加。位置编码有多种选择：可学习型与固定型 [9]。

本工作中，我们使用不同频率的正弦和余弦函数：

PE_{(pos, 2i)} = sinpos10000^2i/dmodel

PE_{(pos, 2i+1)} = cospos10000^2i/dmodel

其中 pos 是位置，i 是维度。也就是说，位置编码的每个维度对应一个正弦波，波长从 2π 到 10000·2π 呈几何级数。我们选择这个函数，是因为猜想它能轻易学到「按相对位置做注意力」：对任意固定偏移 k，PE_pos+k 都可以表示为 PE_pos 的线性函数。

我们也实验过用可学习的位置嵌入 [9] 替代，发现两者结果几乎完全相同（见表 3 第 (E) 行）。我们最终选择正弦版本，因为它有望让模型外推到训练时未出现过的更长序列。

4 为什么选择自注意力Why Self-Attention

本节将自注意力层与常用的循环层、卷积层进行多个维度的比较。这些层类型都用于把一个变长的符号表示序列 (x₁, …, x_n) 映射为等长序列 (z₁, …, z_n)，其中 x_i, z_i ∈ ℝ^d——例如典型序列转换编码器或解码器中的一个隐藏层。为论证采用自注意力的动机，我们考虑三项期望特性。

其一是每层的总计算复杂度。其二是可被并行化的计算量，以所需的最少串行操作数来衡量。其三是网络中长程依赖之间的路径长度——学习长程依赖是许多序列转换任务的关键挑战，而影响这种学习能力的一个关键因素，就是前向与反向信号在网络中必须穿越的路径长度：输入、输出序列任意位置组合之间的路径越短，长程依赖就越容易被学到 [12]。因此，我们还比较了由不同层类型构成的网络中，任意两个输入、输出位置之间的最大路径长度。

表 1：不同层类型的最大路径长度、每层复杂度与最少串行操作数。n 为序列长度，d 为表示维度，k 为卷积核大小，r 为受限自注意力的邻域大小。

层类型	每层复杂度	串行操作数	最大路径长度
自注意力	O(n²·d)	O(1)	O(1)
循环	O(n·d²)	O(n)	O(n)
卷积	O(k·n·d²)	O(1)	O(logk(n))
受限自注意力	O(r·n·d)	O(1)	O(n/r)

如表 1 所示，自注意力层以常数级的串行操作数连接所有位置，而循环层需要 O(n) 的串行操作。在计算复杂度上，当序列长度 n 小于表示维度 d 时，自注意力层比循环层更快——而最先进机器翻译模型所用的句子表示（如 word-piece [38] 与字节对 [31]）通常正是这种情况。对于序列非常长的任务，可以把自注意力限制为只考虑以对应输出位置为中心、大小为 r 的邻域，以提升计算性能；这会使最大路径长度增至 O(n/r)。我们计划在后续工作中继续研究这一方向。

核宽 k < n 的单个卷积层无法连接所有输入、输出位置对——要连接所有位置对，连续核需要堆叠 O(n/k) 层卷积，膨胀卷积 [18] 则需要 O(log_k(n)) 层，这会增大网络中任意两个位置间最长路径的长度。卷积层通常比循环层贵，贵一个因子 k；不过可分离卷积 [6] 可以把复杂度大幅降到 O(k·n·d + n·d²)。但即使取 k = n，可分离卷积的复杂度也只是与「自注意力层 + 逐位置前馈层」的组合相当——而后者正是我们模型所采用的方案。

一个附带的好处是，自注意力可以带来更可解释的模型。我们检查了模型产生的注意力分布，并在附录中展示并讨论若干例子：不仅每个注意力头都清晰地学会了执行不同的任务，许多头还表现出与句子的句法、语义结构相关的行为。

5 训练Training

本节描述我们模型的训练方案。

5.1 训练数据与批处理Training Data and Batching

我们在标准的 WMT 2014 英德数据集上训练，其中包含约 450 万个句对。句子采用字节对编码（BPE）[3]，共享的「源-目标」词表约 37000 个 token。英法任务上，我们使用了大得多的 WMT 2014 英法数据集（3600 万句对），并把 token 切分为 32000 规模的 word-piece 词表 [38]。句对按近似序列长度分批：每个训练批次包含的句对，合计约 25000 个源 token 和 25000 个目标 token。

5.2 硬件与训练日程Hardware and Schedule

我们在一台搭载 8 块 NVIDIA P100 GPU 的机器上训练。使用本文所述超参数的基础（base）模型，每个训练步约 0.4 秒，总共训练 100,000 步（12 小时）。大（big）模型（见表 3 最后一行）每步 1.0 秒，总共训练 300,000 步（3.5 天）。

5.3 优化器Optimizer

我们使用 Adam 优化器 [20]，参数为 β₁ = 0.9、β₂ = 0.98、ε = 10⁻⁹，并在训练过程中按以下公式调整学习率：

lrate = d_model^−0.5 · min(step_num^−0.5, step_num · warmup_steps^−1.5)

(3)

这对应于：前 warmup_steps 步线性增大学习率（预热），之后按步数倒数平方根的比例减小。我们取 warmup_steps = 4000。

5.4 正则化Regularization

训练期间我们采用三种正则化：

残差 Dropout

我们把 dropout [33] 应用于每个子层的输出，再将其与子层输入相加并归一化；此外，编码器堆栈与解码器堆栈中「嵌入 + 位置编码」之和也施加 dropout。基础模型使用 P_drop = 0.1 的比率。

标签平滑

训练时，我们采用 ε_ls = 0.1 的标签平滑 [36]。这会损害困惑度（模型学得更「不确定」），但能提升准确率与 BLEU 分数。

6 结果Results

6.1 机器翻译Machine Translation

在 WMT 2014 英德翻译任务上，大模型（表 2 中的 Transformer (big)）比此前最佳模型（含集成模型）高出 2.0 BLEU 以上，创下 28.4 BLEU 的新纪录；其配置见表 3 最后一行，训练在 8 块 P100 GPU 上进行了 3.5 天。即便是我们的基础模型，也以远低于任何竞争模型的训练成本，超过了此前发表的全部模型与集成模型。

在 WMT 2014 英法翻译任务上，我们的大模型取得 41.0 BLEU，优于此前发表的所有单模型，而训练成本不足此前最佳模型的 1/4。为英法训练的 Transformer (big) 使用的 dropout 率为 P_drop = 0.1（而非 0.3）。

对于基础模型，我们取最后 5 个检查点（每 10 分钟保存一次）平均得到单一模型；对于大模型，我们平均了最后 20 个检查点。解码用束大小（beam size）为 4 的束搜索，长度惩罚 α = 0.6 [38]——这些超参数都是在开发集上实验后选定的。推理时我们把最大输出长度设为「输入长度 + 50」，并在可能时提前终止 [38]。

表 2 汇总了我们的结果，并把翻译质量与训练成本同文献中的其他模型架构做了比较。训练所消耗的浮点运算数（FLOPs），是用「训练时长 × GPU 数量 × 每块 GPU 持续单精度浮点算力的估计值」相乘估计的。^‡

K80、K40、M40、P100 分别取 2.8、3.7、6.0、9.5 TFLOPS。

表 2：Transformer 在 newstest2014 英德、英法测试上以一小部分训练成本取得优于此前最佳模型的 BLEU 分数。

模型	EN-DE BLEU	EN-FR BLEU	EN-DE 训练成本 (FLOPs)	EN-FR 训练成本 (FLOPs)
ByteNet [18]	23.75	—	—	—
Deep-Att + PosUnk [39]	—	39.2	—	1.0·1020
GNMT + RL [38]	24.6	39.92	2.3·1019	1.4·1020
ConvS2S [9]	25.16	40.46	9.6·1018	1.5·1020
MoE [32]	26.03	40.56	2.0·1019	1.2·1020
Deep-Att + PosUnk 集成 [39]	—	40.4	—	8.0·1020
GNMT + RL 集成 [38]	26.30	41.16	1.8·1020	1.1·1021
ConvS2S 集成 [9]	26.36	41.29	7.7·1019	1.2·1021
Transformer（基础模型）	27.3	38.1	3.3·1018	—
Transformer（大模型）	28.4	41.8	2.3·1019	—

6.2 模型变体Model Variations

为了评估 Transformer 各组件的重要性，我们以多种方式改变基础模型，在英德翻译开发集 newstest2013 上测量性能变化。束搜索与上一节相同，但不做检查点平均。结果见表 3。

表 3：Transformer 架构变体。未列出的值与基础模型相同。所有指标均在英德翻译开发集 newstest2013 上测得；困惑度按 word-piece 计（基于我们的字节对编码），不应与按词计算的困惑度比较。

	N	dmodel	dff	h	dk	dv	Pdrop	εls	训练步数	PPL (dev)	BLEU (dev)	参数量 (×10⁶)
base	6	512	2048	8	64	64	0.1	0.1	100K	4.92	25.8	65
(A)				1	512	512				5.29	24.9
				4	128	128				5.00	25.5
				16	32	32				4.91	25.8
				32	16	16				5.01	25.4
(B)					16					5.16	25.1	58
					32					5.01	25.4	60
(C)	2									6.11	23.7	36
	4									5.19	25.3	50
	8									4.88	25.5	80
		256			32	32				5.75	24.5	28
		1024			128	128				4.66	26.0	168
			1024							5.12	25.4	53
			4096							4.75	26.2	90
(D)							0.0			5.77	24.6
							0.2			4.95	25.5
								0.0		4.67	25.3
								0.2		5.47	25.7
(E)	用可学习的位置嵌入替代正弦位置编码									4.92	25.7
big	6	1024	4096	16			0.3		300K	4.33	26.4	213

表 3 的 (A) 组：按 3.2.2 节的方式保持计算量不变，同时改变注意力头数量与键、值维度。单头注意力比最佳设置差 0.9 BLEU，但头数太多时质量同样会下降。

表 3 的 (B) 组：减小注意力键维度 d_k 会损害模型质量——这表明「判断兼容性」并不容易，比点积更精巧的兼容性函数或许是有益的。(C) 组和 (D) 组则显示（符合预期）：模型越大效果越好，而 dropout 对避免过拟合非常有帮助。(E) 组用可学习的位置嵌入 [9] 替代正弦位置编码，结果与基础模型几乎相同。

6.3 英语成分句法分析English Constituency Parsing

为了检验 Transformer 能否泛化到其他任务，我们在英语成分句法分析上做了实验。这个任务有特殊的挑战：输出受很强的结构约束，且显著长于输入；此外，RNN 序列到序列模型在小数据设定下一直拿不到最佳结果 [37]。

我们在 Penn Treebank [25] 的华尔街日报（WSJ）部分上训练了一个 4 层 Transformer（d_model = 1024），约 4 万条训练句。我们也在半监督设定下训练：使用更大规模的高置信度 BerkleyParser 语料（约 1700 万句）[37]。WSJ-only 设定使用 16K token 词表，半监督设定使用 32K token 词表。

我们只在开发集（Section 22）上做了少量实验来选取 dropout（注意力与残差，见 5.4 节）、学习率和束大小，其余所有参数均与英德基础翻译模型保持一致。推理时最大输出长度增加到「输入长度 + 300」；WSJ-only 与半监督两种设定均使用束大小 21、α = 0.3。

表 4：Transformer 在英语成分句法分析上泛化良好（结果为 WSJ 第 23 节上的 F1）。

分析器	训练设定	WSJ 23 F1
Vinyals & Kaiser et al. (2014) [37]	仅 WSJ，判别式	88.3
Petrov et al. (2006) [29]	仅 WSJ，判别式	90.4
Zhu et al. (2013) [40]	仅 WSJ，判别式	90.4
Dyer et al. (2016) [8]	仅 WSJ，判别式	91.7
Transformer（4 层）	仅 WSJ，判别式	91.3
Zhu et al. (2013) [40]	半监督	91.3
Huang & Harper (2009) [14]	半监督	91.3
McClosky et al. (2006) [26]	半监督	92.1
Vinyals & Kaiser et al. (2014) [37]	半监督	92.1
Transformer（4 层）	半监督	92.7
Luong et al. (2015) [23]	多任务	93.0
Dyer et al. (2016) [8]	生成式	93.3

表 4 的结果显示：尽管没有做针对任务的调优，我们的模型表现相当出色，超过了除循环神经网络语法（RNNG）[8] 之外的所有已发表模型。与 RNN 序列到序列模型 [37] 不同的是，Transformer 即使只在 4 万句的 WSJ 训练集上训练，也优于 BerkeleyParser [29]。

7 结论Conclusion

本工作中，我们提出了 Transformer——第一个完全基于注意力的序列转换模型，用多头自注意力取代了编码器-解码器架构中最常用的循环层。

在翻译任务上，Transformer 的训练速度显著快于基于循环或卷积层的架构。在 WMT 2014 英德与英法两个翻译任务上，我们都创造了新的最佳水平；在前者上，我们的最佳模型甚至超过了此前发表的所有集成模型。

我们对基于注意力的模型的未来充满期待，并计划将其应用到其他任务上。我们计划把 Transformer 扩展到输入输出不限于文本模态的问题上，并研究局部的受限注意力机制，以高效处理诸如图像、音频、视频等大输入大输出的场景。让生成过程的串行程度更低，是我们的另一个研究目标。

我们用于训练和评估模型的代码已开源：https://github.com/tensorflow/tensor2tensor。

致谢Acknowledgements

感谢 Nal Kalchbrenner 和 Stephan Gouws，他们提出了富有成效的意见、指正与启发。

参考文献References

（参考文献保留英文原文）

1. J. L. Ba, J. R. Kiros, and G. E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.
2. D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.
3. D. Britz, A. Goldie, M.-T. Luong, and Q. V. Le. Massive exploration of neural machine translation architectures. CoRR, abs/1703.03906, 2017.
4. J. Cheng, L. Dong, and M. Lapata. Long short-term memory-networks for machine reading. arXiv preprint arXiv:1601.06733, 2016.
5. K. Cho, B. van Merrienboer, C. Gulcehre, F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. CoRR, abs/1406.1078, 2014.
6. F. Chollet. Xception: Deep learning with depthwise separable convolutions. arXiv preprint arXiv:1610.02357, 2016.
7. J. Chung, Ç. Gülçehre, K. Cho, and Y. Bengio. Empirical evaluation of gated recurrent neural networks on sequence modeling. CoRR, abs/1412.3555, 2014.
8. C. Dyer, A. Kuncoro, M. Ballesteros, and N. A. Smith. Recurrent neural network grammars. In Proc. of NAACL, 2016.
9. J. Gehring, M. Auli, D. Grangier, D. Yarats, and Y. N. Dauphin. Convolutional sequence to sequence learning. arXiv preprint arXiv:1705.03122v2, 2017.
10. A. Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.
11. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770–778, 2016.
12. S. Hochreiter, Y. Bengio, P. Frasconi, and J. Schmidhuber. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies, 2001.
13. S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780, 1997.
14. Z. Huang and M. Harper. Self-training PCFG grammars with latent annotations across languages. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pages 832–841. ACL, August 2009.
15. R. Jozefowicz, O. Vinyals, M. Schuster, N. Shazeer, and Y. Wu. Exploring the limits of language modeling. arXiv preprint arXiv:1602.02410, 2016.
16. Ł. Kaiser and S. Bengio. Can active memory replace attention? In Advances in Neural Information Processing Systems (NIPS), 2016.
17. Ł. Kaiser and I. Sutskever. Neural GPUs learn algorithms. In International Conference on Learning Representations (ICLR), 2016.
18. N. Kalchbrenner, L. Espeholt, K. Simonyan, A. van den Oord, A. Graves, and K. Kavukcuoglu. Neural machine translation in linear time. arXiv preprint arXiv:1610.10099v2, 2017.
19. Y. Kim, C. Denton, L. Hoang, and A. M. Rush. Structured attention networks. In International Conference on Learning Representations, 2017.
20. D. Kingma and J. Ba. Adam: A method for stochastic optimization. In ICLR, 2015.
21. O. Kuchaev and B. Ginsburg. Factorization tricks for LSTM networks. arXiv preprint arXiv:1703.10722, 2017.
22. Z. Lin, M. Feng, C. N. dos Santos, M. Yu, B. Xiang, B. Zhou, and Y. Bengio. A structured self-attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017.
23. M.-T. Luong, Q. V. Le, I. Sutskever, O. Vinyals, and L. Kaiser. Multi-task sequence to sequence learning. arXiv preprint arXiv:1511.06114, 2015.
24. M.-T. Luong, H. Pham, and C. D. Manning. Effective approaches to attention-based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.
25. M. P. Marcus, M. A. Marcinkiewicz, and B. Santorini. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, 19(2):313–330, 1993.
26. D. McClosky, E. Charniak, and M. Johnson. Effective self-training for parsing. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pages 152–159. ACL, June 2006.
27. A. Parikh, O. Täckström, D. Das, and J. Uszkoreit. A decomposable attention model. In Empirical Methods in Natural Language Processing, 2016.
28. R. Paulus, C. Xiong, and R. Socher. A deep reinforced model for abstractive summarization. arXiv preprint arXiv:1705.04304, 2017.
29. S. Petrov, L. Barrett, R. Thibaux, and D. Klein. Learning accurate, compact, and interpretable tree annotation. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, pages 433–440. ACL, July 2006.
30. O. Press and L. Wolf. Using the output embedding to improve language models. arXiv preprint arXiv:1608.05859, 2016.
31. R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.
32. N. Shazeer, A. Mirhoseini, K. Maziarz, A. Davis, Q. Le, G. Hinton, and J. Dean. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. arXiv preprint arXiv:1701.06538, 2017.
33. N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15(1):1929–1958, 2014.
34. S. Sukhbaatar, A. Szlam, J. Weston, and R. Fergus. End-to-end memory networks. In C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems 28, pages 2440–2448. Curran Associates, Inc., 2015.
35. I. Sutskever, O. Vinyals, and Q. V. V. Le. Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems, pages 3104–3112, 2014.
36. C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. CoRR, abs/1512.00567, 2015.
37. Vinyals & Kaiser, Koo, Petrov, Sutskever, and Hinton. Grammar as a foreign language. In Advances in Neural Information Processing Systems, 2015.
38. Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M. Norouzi, W. Macherey, M. Krikun, Y. Cao, Q. Gao, K. Macherey, et al. Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144, 2016.
39. J. Zhou, Y. Cao, X. Wang, P. Li, and W. Xu. Deep recurrent models with fast-forward connections for neural machine translation. CoRR, abs/1606.04199, 2016.
40. M. Zhu, Y. Zhang, W. Chen, M. Zhang, and J. Zhu. Fast and accurate shift-reduce constituent parsing. In Proceedings of the 51st Annual Meeting of the ACL (Volume 1: Long Papers), pages 434–443. ACL, August 2013.

附录：注意力可视化Attention Visualizations

附录：术语对照表Glossary

English	中文译法
attention	注意力
self-attention (intra-attention)	自注意力（内部注意力）
multi-head attention	多头注意力
scaled dot-product attention	缩放点积注意力
additive attention	加性注意力
query / key / value	查询 / 键 / 值
encoder / decoder	编码器 / 解码器
encoder-decoder attention	编码器-解码器注意力
residual connection	残差连接
layer normalization	层归一化
positional encoding	位置编码
sinusoidal	正弦的
feed-forward network (FFN)	前馈网络
position-wise	逐位置的
auto-regressive	自回归的
masking	掩码
sequence transduction	序列转换
long-range dependency	长程依赖
embedding	嵌入
byte-pair encoding (BPE)	字节对编码
word-piece	词片
beam search	束搜索
label smoothing	标签平滑
perplexity (PPL)	困惑度
constituency parsing	成分句法分析
anaphora resolution	指代消解
dilated convolutions	膨胀卷积
separable convolutions	可分离卷积
checkpoint averaging	检查点平均
warmup steps	预热步数

译文基于 arXiv:1706.03762v7（2023-08-02）· 原文：Vaswani et al., Attention Is All You Need, NIPS 2017
图表取自原论文 · 本译文仅供学习交流，转载请附上原文链接