1.2.1　点积注意力与加性注意力的对比

1．注意力机制的基本概念

注意力机制是深度学习中用于捕获序列内部不同位置之间相关性的关键技术，通过分配权重来突出重要信息，抑制不相关部分。

根据计算方式，注意力机制主要分为点积注意力和加性注意力，这两种方法本质上解决了同一个问题：如何高效地计算输入序列中元素之间的相互依赖关系。

2．点积注意力的原理与特点

点积注意力是目前最常用的注意力机制之一，其核心思想是通过向量间的点积运算计算相关性，点积结果直接用于生成注意力分数。具体来说，点积注意力利用查询（Query）向量和键（Key）向量的点积来衡量两者的相似性，然后对所有位置的点积分数进行归一化，得到每个元素的权重，最终将这些权重应用到值（Value）向量上，生成最终的输出。

点积注意力的特点包括以下几个方面。

（1）高效计算：点积运算能够充分利用现代硬件的并行计算能力，在大规模序列建模中具有明显的速度优势。

（2）适合高维表示：当输入的维度较高时，点积可以有效捕捉复杂的语义关系。

（3）对比度增强：点积操作在一定程度上放大了高相关性的权重差异，使模型更容易关注到关键信息。

然而，点积注意力也存在不足之处，例如当输入向量的维度过大时，点积的数值可能过高，导致归一化操作失效，需要进一步调整计算策略。

3．加性注意力的原理与特点

加性注意力是一种较早提出的注意力机制，其计算过程基于加法操作，而非点积。具体而言，加性注意力将查询向量和键向量分别映射到同一特征空间后进行求和，再通过非线性变换生成注意力分数。这种方法更加直观，但计算复杂度相对较高。

加性注意力的特点包括以下几个方面。

（1）更稳定的计算：由于加性注意力使用的是加法而非乘法操作，其数值更加稳定，适合处理低维输入或对计算精度要求较高的场景。

（2）适应性强：加性注意力在小型模型和低资源环境中表现优异，特别是在早期的机器翻译任务中得到广泛应用。

（3）效率相对较低：相比点积注意力，加性注意力的计算过程较为复杂，不适合处理大规模数据，难以满足现代大模型的计算需求。

4．DeepSeek-V3中的选择与优化

在DeepSeek-V3中，点积注意力被用作主要机制，其高效性和适配性完美契合大规模模型的需求。然而，为了进一步优化性能，DeepSeek-V3对传统点积注意力进行了改进。

（1）多头点积注意力：通过引入多头机制，DeepSeek-V3能够在多个子空间中并行计算注意力关系，提升了对复杂序列信息的捕获能力。

（2）稀疏化计算：针对长序列任务，DeepSeek-V3采用稀疏点积注意力的方式，通过减少低相关性元素的计算量，有效降低了内存和时间消耗。

（3）旋转位置嵌入技术：与点积注意力结合，使模型在处理长上下文依赖时的表现更加稳定，同时显著提升了推理速度。

5．点积注意力与加性注意力的实际意义

点积注意力和加性注意力各有优势，前者以高效性和扩展性为主，后者以计算稳定性和适应性见长。在现代大模型中，点积注意力由于其卓越的计算效率和与并行硬件的兼容性，成为主流选择。

通过在点积注意力上进行深度优化，DeepSeek-V3不仅展现了极强的计算性能，还在长序列处理和复杂任务中表现出卓越的能力。加性注意力虽然在深度学习早期发挥了重要作用，但其在当前大规模模型中的应用逐渐减少。通过对两者进行对比，本节内容为读者理解注意力机制在不同任务中的应用提供了全面视角。