深度神经网络在机器学习应用、学习复杂概率分布方面表现出色。但是，训练深度神经网络存在诸多挑战。我们将从以下几个方面探讨深度学习架构：

• 更好的优化方法
  • 克服非凸损失函数
  • 自适应学习率
  • 基于动量的方法
• 梯度消失与梯度爆炸问题
  • 归一化技术
  • 残差连接
  • 谨慎的初始化策略
• 过拟合与正则化
  • 正则化技术
  • 早停和模型选择
• 现代神经网络架构
  • 卷积神经网络
  • 循环神经网络
  • 转换器架构
  • 图像神经网络

在对图像的全连接神经网络中，参数数量随着输入图像大小的增加而急剧增加。对于 $4\times 4$ 的图像，平坦化后有 $16$ 个输入神经元。而对于 $100\times 100$ 的 RGB 图像，平坦化后有 $30,000$ 个输入神经元。如果使用一个隐藏层，隐藏层有 $1,000$ 个神经元，那么全连接后的参数数量将达到 $30,000,000$ 个。这种庞大的参数量不仅增加了计算复杂度，还容易导致过拟合，忽视了图像的空间结构信息。

例如，对 $3\times 3$ 的图像编码

$$\mathrm{Img}=\begin{bmatrix}1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9\end{bmatrix}$$

使用 $2\times 2$ 的滤波器

$$\mathrm{ker}=\begin{bmatrix}1&2\\ 3&4\end{bmatrix}$$

进行卷积操作，得到的特征图为

$$\mathrm{Img}*\mathrm{ker}:=\begin{bmatrix}\begin{bmatrix}1&2\\4&5\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}2&3\\5&6\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} \\ \\ \begin{bmatrix}4&5\\7&8\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}5&6\\8&9\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix}\end{bmatrix}=\begin{bmatrix}37 & 47 \\ 67 & 77\end{bmatrix}$$

卷积操作自然地减少了特征图的高、宽尺寸。例如，输入图像尺寸为 $H\times W$，使用 $M\times N$ 的滤波器进行卷积后，输出特征图的尺寸变为 $(H-M+1)\times (W-N+1)$。为了控制输出特征图的尺寸，有以下几种常用技术。

对之前例子中的图像进行填充：

$$\mathrm{Img_{pad}}=\begin{bmatrix}0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 2 & 3 & 0 \\ 0 & 4 & 5 & 6 & 0 \\ 0 & 7 & 8 & 9 & 0 \\ 0 & 0 & 0 & 0 & 0\end{bmatrix}$$

使用相同的 $2\times 2$ 滤波器进行卷积操作，得到的特征图为

$$\mathrm{Img_{pad}}*\mathrm{ker}:=\begin{bmatrix}\begin{bmatrix}0&0\\0&1\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}0&0\\1&2\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}0&0\\2&3\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} \\ \\ \begin{bmatrix}0&1\\0&4\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}1&2\\4&5\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}2&3\\5&6\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} \\ \\ \begin{bmatrix}0&4\\0&7\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}4&5\\7&8\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix} & \begin{bmatrix}5&6\\8&9\end{bmatrix}*\begin{bmatrix}1&2\\3&4\end{bmatrix}\end{bmatrix}=\begin{bmatrix}4 & 10 & 16 \\ 22 & 37 & 47 \\ 40 & 67 & 77\end{bmatrix}$$

尺寸变回了 $3\times 3$。

例如，使用步幅 $S=2$ 对 $4\times 4$ 图像进行卷积操作：

$$\mathrm{Img}=\begin{bmatrix}1 & 2 & 3 & 4 \\ 5 & 6 & 7 & 8 \\ 9 & 10 & 11 & 12 \\ 13 & 14 & 15 & 16\end{bmatrix}$$

使用 $2\times 2$ 的滤波器

$$\mathrm{ker}=\begin{bmatrix}1&0\\0&1\end{bmatrix}$$

进行卷积操作，得到的特征图为

$$\mathrm{Img}*\mathrm{ker}:=\begin{bmatrix}\begin{bmatrix}1&2\\5&6\end{bmatrix}*\begin{bmatrix}1&0\\0&1\end{bmatrix} & \begin{bmatrix}3&4\\7&8\end{bmatrix}*\begin{bmatrix}1&0\\0&1\end{bmatrix} \\ \\ \begin{bmatrix}9&10\\13&14\end{bmatrix}*\begin{bmatrix}1&0\\0&1\end{bmatrix} & \begin{bmatrix}11&12\\15&16\end{bmatrix}*\begin{bmatrix}1&0\\0&1\end{bmatrix}\end{bmatrix}=\begin{bmatrix}7 & 11 \\ 23 & 27\end{bmatrix}$$

尺寸变为 $2\times 2$。

线性采样结束后，通常还会进行非线性变换，以增强模型的表达能力。对特征图 $Z$ 应用非线性激活函数后，得到激活特征图 $A$

$$A_{i,j,k}=f(Z_{i,j,k})$$

其中，常用的激活函数包括

• ReLU（线性整流单元）：$f(x)=\max(0,x)$
• Sigmoid（S 型函数）：$f(x)=\dfrac{1}{1+e^{-x}}$
• Tanh（双曲正切函数）：$f(x)=\dfrac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$

最后通过池化操作进一步降低特征图的尺寸和复杂度。

对先前例子中的特征图线性整流 $f(x)=|50-x|$，得到激活特征图

$$\begin{bmatrix}4 & 10 & 16 \\ 22 & 37 & 47 \\ 40 & 67 & 77\end{bmatrix}\xrightarrow{f}\begin{bmatrix}46 & 40 & 34 \\ 28 & 13 & 3 \\ 10 & 17 & 27\end{bmatrix}$$

例如，对激活特征图进行 $2\times 2$ 最大池化，步幅为 $2$，得到池化特征图

$$\begin{bmatrix}46 & 40 & 34 \\ 28 & 13 & 3 \\ 10 & 17 & 27\end{bmatrix}\xrightarrow{\text{max pool}}\begin{bmatrix}46 & 34 \\ 17 & 27\end{bmatrix}$$

这里根据步幅 $2$，从左上角开始，会超出边界，它将自动填充为负无穷。

CNNs 应用常见于图像分类、目标检测、语义分割、图像生成、医学图像分析、视频处理等领域。里程碑式的 CNN 架构包括 LeNet、AlexNet、VGG、GoogLeNet、ResNet 等。

对于 RGB 图像，卷积神经网络的输入通常是一个三维张量，尺寸为 $H\times W\times 3$，其中 $H$ 是图像的高度，$W$ 是图像的宽度，$3$ 代表 RGB 三个颜色通道。通过多层卷积和池化操作，CNNs 能够逐步提取图像的低级到高级特征，具体体现为如下例子

• $128\times 128\times 3$：输入一张彩色图片；
• $128\times 128\times 32$：第一层卷积层使用 $32$ 个 $3\times 3$ 的滤波器组 I，每个滤波器先提取不同通道的局部特征，然后相加，得到一张特征图，经过 $32$ 个滤波器组后，得到 $32$ 张特征图；
• $64\times 64\times 32$：第一层池化层，使用 $2\times 2$ 的最大池化，步幅为 $2$，将每张特征图的尺寸减半；
• $64\times 64\times 64$：第二层卷积层，使用 $64$ 个 $3\times 3$ 的滤波器组，提取更复杂的特征；
• $32\times 32\times 64$：第二层池化层，再次使用 $2\times 2$ 的最大池化，步幅为 $2$，将特征图尺寸减半；
• $32\times 32\times 128$：第三层卷积层，使用 $128$ 个 $3\times 3$ 的滤波器组，提取更高级的特征；
• $16\times 16\times 128$：第三层池化层，使用 $2\times 2$ 的最大池化，步幅为 $2$，将特征图尺寸减半；
• $32768$：将 $16\times 16\times 128$ 的特征图展平为一维向量，作为输入，全连接第一隐藏层为 $1024$ 个神经元，全连接第二隐藏层为 $512$ 个神经元，输出层用 Softmax 激活为 $1000$ 个类别的概率分布。

可以看见，由于池化 - 卷积，其实越后面的卷积，在空间尺寸上越小，但通道数越来越多，提取的特征也越来越复杂。一开始，卷积提取的是边缘、颜色等低级特征，随着网络加深，卷积提取的特征逐渐变得抽象和复杂，如纹理、形状（由颜色通道的组合形成），最后可能是物体的部分或整体表示（由纹理和形状的组合形成）。这个过程是从低级到高级特征的逐步抽象和组合的过程。

一个简单的例子为

• 输入 RGB 图像，尺寸为 $32\times 32\times 3$；
• 卷积层使用 $64$ 个 $3\times 3$ 的滤波器组；
• 步幅为 $1$，填充为 $1$。

则该卷积层的总参数数量为

$$(3\times 3 \times 3 + 1) \times 64 = (27 + 1) \times 64 = 28 \times 64 = 1792$$

标准的 FNNs 是静态的，它们将输入映射到输出，而不考虑时间或序列信息，假设它们是 i.i.d. 的数据点。但对于含有序列数据的任务，如自然语言处理、时间序列预测、音视频分析等，时序和上下文信息至关重要。现在的问题是，如何让神经网络具备记忆和处理序列数据的能力？即如何记住过去的信息，并将其应用于当前的输入？

RNN 有多种变体，可以根据输入层和输出层的关系进行分类：

• 单对单（One-to-One）：标准的前馈神经网络，输入和输出都是单一的。
• 单对多（One-to-Many）：输入是单一的，输出是一个序列。例如，图像描述生成。

• 多对单（Many-to-One）：输入是一个序列，输出是单一的。例如，情感分析。

• 多对多（Many-to-Many）：输入和输出都是序列。例如，机器翻译。

深度 RNNs（Deep RNNs） 通过堆叠多个 RNN 层来增强模型的表达能力。每一层的输出作为下一层的输入，从而捕捉更复杂的时序特征。深度 RNNs 的计算过程如下：

其中 $X_t$ 是输入序列，$H_t^{(l)}$ 是第 $l$ 层在时间步 $t$ 的隐藏状态，$O_t$ 是输出序列。每一层的隐藏状态通过循环连接传递信息，同时每一层之间也有前馈连接，将上一层的输出作为下一层的输入。

双向 RNNs（Bidirectional RNNs） 提供两个反向的隐藏状态，一个从前向后处理序列，另一个从后向前处理序列，最终的输出取决于前文和后文的信息。这种结构特别适用于需要全局上下文信息的任务，如命名实体识别和语音识别。

RNNs 也存在挑战和限制，比如在长序列中，梯度可能会随着时间步的增加而指数衰减或爆炸，导致模型难以学习长期依赖关系和记忆跨度有限。具体可以从反向传播的表达式中看出，对于单层的 RNNs，其反向传播的梯度链式法则为

$$\dfrac {h_t}{h_k}=\prod_{i=k+1}^{t}\dfrac {\partial h_i}{\partial h_{i-1}}=\prod_{i=k+1}^{t}W_{hh}^T\mathrm{diag}(\sigma'(W_{hh}h_{i-1}+W_{xh}x_i+b_h))$$

其中 $\sigma$ 对内部线性组合的作用是逐一应用于每个元素上，因此其导数 $\sigma'$ 也是一个对角矩阵。

$$\sigma\begin{bmatrix}z_1 \\ z_2 \\ \vdots \\ z_n\end{bmatrix}=\begin{bmatrix}\sigma(z_1) \\ \sigma(z_2) \\ \vdots \\ \sigma(z_n)\end{bmatrix}\implies \dfrac {\partial \sigma(z)}{\partial z}=\mathrm{diag}(\sigma'(z))=\begin{bmatrix}\sigma'(z_1) & 0 & \cdots & 0 \\ 0 & \sigma'(z_2) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma'(z_n)\end{bmatrix}$$

解决方案有以下几种：长短期记忆网络、门控循环单元、梯度裁剪和初始化策略等。

语言建模问题（Language Modeling） 是指给定上下文，预测下一个最可能的词语，比如

$$\begin{array}{ll}\text{I swam across the river to get to the other } \_bank\_ \\ \\ \text{I walked across the road to get cash from the } \_bank\_\end{array}$$

这里可以看到存在技术挑战是：

1. 长距离依赖关系：需要捕捉远距离词语关系；
2. 多义性处理：相同词语在不同上下文的含义不同；
3. 复杂逻辑：理解语法、常识和推理。

一旦有了语言模型，就可以生成人类语言。

比如考虑词汇表：

$$\{\text{I},\text{can},\text{do},\text{it}\}$$

给定上下文 $\text{I can do}$，预测下一个词语的概率分布为

$$\begin{bmatrix}P(\text{it }|\text{ I},\text{ can},\text{ do}) \\ P(\text{ I }|\text{ I},\text{ can},\text{ do}) \\ P(\text{ can }|\text{ I},\text{ can},\text{ do}) \\ P(\text{ do }|\text{ I},\text{ can},\text{ do})\end{bmatrix}=\begin{bmatrix}0.7 \\ 0.1 \\ 0.1 \\ 0.1\end{bmatrix}$$

模型将预测下一个词为 $\text{it}$，概率为 $0.7$，最高。

分词建立了自然语言和数字表示之间的桥梁，后者是语言模型可以处理的输入形式。词元可以是单词、子词或字符，具体取决于所使用的分词方法。

BPE 可以处理未登录词，紧凑地表示常见词语，可以跨语言使用。。它找到了在词层次和字符层次之间的平衡，既能捕捉词语的语义信息，又能处理未登录词。例如词缀 “un-”、“-ing” 可以作为子词单独存在。

例如，考虑以下训练语料：

$$\text{low lower newest widest}$$

初始词汇表为所有单个字符：

$$\{\text{l,o,w,e,r,n,s,t,i,d}\}$$

现在的语料被表示为字符序列：

$$\text{l o w \_ l o w e r \_ n e w e s t \_ w i d e s t}$$

接着统计相邻字符对的频率，发现最频繁且字典序最小的字符对为

$$(\text{e},\text{s})\rightarrow \text{es}$$

将其合并，更新词汇表为

$$\{\text{l,o,w,e,r,n,s,t,i,d,es}\}$$

现在的语料被表示为

$$\text{l o w \_ l o w e r \_ n e w es t \_ w i d es t}$$

重复操作，下一个最频繁且字典序最小的字符对为

$$(\text{es},\text{t})\rightarrow \text{est}$$

更新词汇表为

$$\{\text{l,o,w,e,r,n,s,t,i,d,es,est}\}$$

现在的语料被表示为

$$\text{l o w \_ l o w e r \_ n e w est \_ w i d est}$$

继续迭代，直到达到预定的词汇表大小或没有更多的字符对可以合并。最终得到的子词词汇表可以是

$$\{\text{l,o,w,e,r,n,s,t,i,d,es,est,lo,low,er,lower,newest,widest}\}$$

最终的语料被表示为

$$\text{low \_ lower \_ newest \_ widest}$$

这无法再合并了。

BPE 应用在最高频率的字符对上，具有贪心性质，不考虑全局最优，但是在实践中是高效的。

BPE 具有很多优势，诸如可以处理未登录词、紧凑地表示常见词语（减少词汇表大小）、可以跨语言使用（算法是一致的）、捕捉单词结构形态，以及能得到良好的词汇表大小（比单词级别更小，比字符级别更大）。同时也有许多局限，比如它采用贪心策略（可能无法捕捉全局最优的子词划分）、歧义（同一子词可能有多种划分方式）、过度分割、训练成本高（需要庞大的语料库进行统计），以及对不同语言的适应性有限（因为 BPE 是基于字符频率的，某些语言可能需要不同的分词策略）。

例如，对于语料 $\text{unhappiness}$，BPE 可能会将其分割为子词

$$\text{un, happi, ness}$$

而不是更语义化的划分（其实 $\text{happy}$ 没有出现，但是更符合语义）

$$\text{un, happy, ness}$$

这可能会影响模型对词语含义的理解。

对单词进行标记（映射为数字 ID），但是问题在于整数标记无法表达语义关系，所以解决方案是将词元映射到高维向量空间。

$$\mathrm{embedding}:\mathbb N\to \mathbb R^d$$

它具备可学习性（通过训练可以自动优化嵌入映射）、能通过分量捕捉语义关系（相似词语在向量空间中距离较近）、维度可调节（可以根据任务需求选择嵌入维度 $d$ 的大小）。

嵌入通过功能被分为静态嵌入和上下文相关嵌入。现代嵌入方法通常是动态、上下文相关的嵌入，并且在子词级别进行嵌入。

例如，词嵌入映射将以下单词映入高维向量空间

$$\begin{array}{ll}\text{king} & \rightarrow [0.25, 0.1, -0.3, \ldots , 0.4] \\[6pt] \text{queen} & \rightarrow [0.2, 0.15, -0.25, \ldots , 0.35] \\[6pt] \text{apple} & \rightarrow [-0.1, 0.4, 0.2, \ldots , -0.05] \\[6pt] \text{banana} & \rightarrow [-0.15, 0.35, 0.25, \ldots , -0.1]\end{array}$$

从这里可以看到，$\text{king}$ 和 $\text{queen}$ 的嵌入向量在空间中距离较近，反映了它们的语义相似性，而 $\text{apple}$ 和 $\text{banana}$ 也表现出类似的关系。这个结果不是一开始就有的，而是通过训练数据学习，不断调整嵌入规则得到的。

通过训练，嵌入矩阵具有以下性质：语义相似的词元在嵌入空间中距离较近；

$$\text{cat}\approx \text{dog}$$

类比性强，即嵌入空间的向量运算表示语义偏移；

$$\text{king}-\text{man}+\text{woman}\approx \text{queen}$$

上下文相关性，即得到嵌入空间后，通过后续加入网络层，可以根据上下文动态调整词元的表示（因为嵌入向量刻画了词元的多种语义特征，只需要在后续网络中学习如何组合这些特征即可）；维数可调节，通常在 $d\in[512,4096]$ 之间选择，具体取决于任务复杂度和计算资源。

Word2Vec 是一种经典的词嵌入方法。它通过训练一个浅层神经网络来预测词语的上下文，从而调整词语的嵌入向量。Word2Vec 有两种主要的架构：连续词袋模型（Continuous Bag of Words, CBOW） 和 跳字模型（Skip-Gram）。CBOW 通过上下文预测目标词语，而 Skip-Gram 则通过目标词语预测其上下文。它的优点是简单高效，能够捕捉词语的语义关系，不需要深度网络结构。

在这个方法下，学习 $\text{king}$ 和 $\text{queen}$ 的嵌入向量的相关性，是通过分析它们的上下文语境的相似性来实现的。

跳字模型的训练目标是给定目标词，预测其邻近的上下文区间内的词语。具体而言，给定上下文语料（句子）：

$$\text{The quick brown fox jumps}$$

那么对于目标词 $\text{brown}$，假设上下文窗口大小为 $1$，则其上下文词语为 $\text{quick}$ 和 $\text{fox}$。跳字模型希望在给出目标词时，能够预测出这些上下文词语，事实上就是在最大化以下目标函数：

$$\prod_{t=1}^{T}\prod_{-c\leq j\leq c,j\neq 0}P(\text{word}_{t+j}|\text{word}_t)$$

其中 $c$ 是上下文窗口大小，$T$ 是语料中词语的总数。例如对于句子

$$\text{is it good or is it bad}$$

当窗口大小为 $1$ 时，目标函数为

$$\begin{array}{ll}\mathrm{Function}:&=[P(\text{it}|\text{is})]\cdot[P(\text{good}|\text{it})\cdot P(\text{is}|\text{it})]\cdot [P(\text{or}|\text{good})\cdot P(\text{it}|\text{good})]\cdot \\ \\ &\quad [P(\text{is}|\text{or})\cdot P(\text{good}|\text{or})]\cdot [P(\text{it}|\text{is})\cdot P(\text{or}|\text{is})]\cdot [P(\text{bad}|\text{it})\cdot P(\text{is}|\text{it})]\cdot \\ \\ &\quad [P(\text{it}|\text{bad})]\end{array}$$

可以看出，函数里面的 $P(\text{is}|\text{it})$ 和 $P(\text{it}|\text{is})$ 都出现了两次。说明 $\text{is}$ 的附近可以猜测到 $\text{it}$，反之亦然。因此要最大化这个目标函数，就要让出现频次高的条件概率尽可能大（在整个语料中），这就是跳字模型的训练目标。

在上图中，输入词语（查询）先独热编码，然后通过嵌入矩阵 $W_{\mathrm{input}}$ 映射到隐藏层（即嵌入空间上的一个向量），接着通过检测与其他词语的语义关联（即嵌入向量之间的内积）将其作为预测的依据，最终输出预测的上下文词语。通过这个过程，模型会不断调整嵌入矩阵 $W_{\mathrm{input}}$，使得语义相似的词语在嵌入空间中距离较近。

其中，预测依据是根据向量内积来计算的，需要查询的词对应的嵌入向量 $v_0$ 和嵌入矩阵中所有词语的嵌入向量进行内积计算，得到一组实数 $\langle v_0,v_i\rangle$，然后通过 Softmax 函数转化

$$P(v_i|v_0)=\dfrac {\exp(\langle v_0,v_i\rangle)}{\sum_{j=1}^{V}\exp(\langle v_0,v_j\rangle)}$$

即给定查询词语 $v_0$，预测上下文词语 $v_i$ 的概率分布。

CBOW 模型的训练目标是给定上下文词语，预测目标词语。具体而言，给定上下文语料（句子）：

$$\text{The quick brown fox jumps}$$

给定上下文词语 $\text{The}$ 和 $\text{brown}$，CBOW 模型希望预测出目标词语 $\text{quick}$。我们认为，当训练足够理想时，语义可以通过向量平均来表达：

$$\dfrac 12(v_{\text{The}}+v_{\text{brown}})\approx v_{\text{quick}}$$

于是我们先计算左边，然后对照 $v_{\text{quick}}$ 的位置，调整嵌入矩阵 $W_{\mathrm{input}}$，使得上式的两者确实很接近。

注意，嵌入向量的分量不一定是有明确意义的，但向量之间的关系是有意义的。从某种程度上看，如果通过训练，模型学会了一个模式：词语的句子成分角色，那么至少可以合理解释向量相加的意义。比如在嵌入向量的一个分量上，$50-100$ 通常表示冠词，$120-300$ 通常表示形容词，$100-500$ 通常表示名词，$600-700$ 通常表示动词。那么对于上面的例子，不妨假设它们的嵌入向量在这些分量上的值分别为

$$\begin{array}{ll}v_{\text{The}} & =[100,\ldots] \\[6pt] v_{\text{quick}} & =[250,\ldots] \\[6pt] v_{\text{brown}} & =[300,\ldots]\\[6pt] v_{\text{fox}} & =[450,\ldots] \\[6pt] v_{\text{jumps}} & =[650,\ldots]\end{array}$$

那么取 $v_{\text{The}}$ 和 $v_{\text{brown}}$ 的平均，对应分量确实落在形容词和名词的区间内，符合 $\text{quick}$ 的句子成分角色。至少按照训练的语料，模型不会猜测目标为动词 $\text{jumps}$，因为它的嵌入向量在动词分量上远高于平均值。

这不过是一个形象的理解，而机器学习模型学到的模式可能更加复杂和抽象，这个分量并不具有所谓 “句子成分角色” 的明确意义。

比如对于 $\text{apple}$ 这个词，它的嵌入向量可能包含了多个方面的信息，比如水果、手机、公司、颜色等，再通过一次线性变换（键映射），就可以将这些信息重新组合，形成多个不同的键，比如红色水果、科技公司等，这样一方面它可以在键的层次上更好区分红太阳和红苹果（因为在颜色、种类外多了一个红色水果的维度），另一方面可以强调苹果具有红色水果和科技公司两个属性。

而具体如何强调这两个属性，就是通过查询矩阵和键矩阵来放大这些维度的影响力的。

句子

$$\text{I swam across the river to get to the other bank}$$

中，通过计算关联权重，最终应该得到对 $\text{bank}$ 的权重表

$$\begin{array}{c|ccccccccc} & \text{I} & \text{swam} & \text{across} & \text{the} & \text{river} & \text{to} & \text{get} & \text{to} & \text{the other} \\ \hline \text{bank} & 0.05 & 0.1 & 0.1 & 0.05 & 0.4 & 0.05 & 0.1 & 0.05 & 0.1 \end{array}$$

可以看到，$\text{river}$ 对 $\text{bank}$ 的影响最大，说明模型学会了捕捉长距离依赖关系。

例如，考虑句子

$$\text{I went to the bank}$$

现在要计算 $\text{bank}$ 的注意力，首先它的查询向量

$$q_{\text{bank}}=\text{embedding}(\text{bank})W^Q$$

是嵌入向量通过一个查询权重矩阵 $W^Q$ 映射得到的。接着，句子中每个词语的键和值向量分别为

$$k_i=\text{embedding}(\text{word}_i)W^K,\quad v_i=\text{embedding}(\text{word}_i)W^V$$

其中 $W^K$ 和 $W^V$ 分别是键和值的权重矩阵。然后计算查询向量和每个键向量的点积，得到相似度分数

$$\mathrm{score}_i=\langle q_{\text{bank}},k_i\rangle$$

接着通过缩放和 Softmax 函数，得到注意力权重

$$\alpha_i=\dfrac {\exp(\mathrm{score}_i/\sqrt{d_k})}{\sum_{j}\exp(\mathrm{score}_j/\sqrt{d_k})}$$

最后，通过加权求和值向量，得到最终的注意力输出

$$\mathrm{Attention}_{\text{bank}}=\mathrm{Output}_{\text{bank}}=\sum_{i}\alpha_i v_i$$

其中，$\text{bank}$ 作为一个词元，其嵌入向量是任意初始化的，通过训练不断调整嵌入矩阵和权重矩阵 $W^Q,W^K,W^V$，使得嵌入矩阵能将语义相近的词元映射到相近的向量空间位置，权重矩阵能调整注意力机制，比如给出 $\text{bank}$ 这个词元时，合适的嵌入矩阵可以将它的向量位置调整到靠近与金融相关的词元（如 $\text{money}$、$\text{account}$）的位置，而实际上 $\text{bank}$ 也可能靠近与河岸相关的词元（如 $\text{river}$、$\text{water}$）。但合适的权重矩阵 $W^Q,W^K,W^V$ 可以调整注意力机制，$W^Q$ 可以让 $\text{bank}$ 的查询向量更关注与金融相关和河岸相关的键（即分量或分量的组合），$W^K$ 可以让词汇库中与金融相关和河岸相关的词元的键向量更容易与 $\text{bank}$ 的查询向量匹配，$W^V$ 随着嵌入矩阵（输入方式）的调整，也要调整（输出内容），使得后面的网络层能更好地利用这些信息。

即注意力机制一方面通过嵌入矩阵调整模型对词语自身含义的理解，另一方面还留意了它在上下文比较中应当关注哪些方面的信息，这两者结合起来，才能更好地捕捉词语的多义性和长距离依赖关系。

传统神经网络假设数据的形式是序列或网格的，例如 CNNs 在处理图像就是基于像素的二维网格结构，而 RNNs 则是处理一维的时间序列数据。然而，许多现实世界的数据具有更复杂的结构，比如社交网络、分子结构、交通网络等，这些数据可以自然地表示为图。

例如，论文的影响因子表明，内容固然重要，但引用关系也很重要。