30秒快速回答： 注意力机制是让 AI 模型”知道该看哪儿”的技术。当你输入”小明把苹果给了小红，她吃了它”——注意力机制帮模型理解”她”=小红、”它”=苹果，而不是搞混。技术上，它通过 Q（查询）、K（键）、V（值）三个矩阵计算句子中每个词与其他词的相关权重，从而聚焦关键信息。这是 Transformer 架构的灵魂，也是 ChatGPT 能长文对话的基础。

一、定义：注意力机制是什么？

直觉类比：

你在嘈杂的餐厅里听朋友说话，你的耳朵会自动”忽略”背景噪音，”聚焦”朋友的声波方向。注意力机制的原理完全相同——让模型自动评估输入中哪些部分更重要。

在 NLP 中，注意力机制对每个输入 Token 计算一个权重分数，表示其他 Token 对它的”重要程度”。权重越高，越受关注。

二、原理：自注意力（Self-Attention）怎么算？

1. Q、K、V 三部曲

每个输入 Token 被投影为三个向量：

• Q（Query，查询）：”我在搜什么？”
• K（Key，键）：”我是哪种信息？”
• V（Value，值）：”我的实际内容是什么？”

计算步骤：

1. 相似度分数 = Q × K^T            （查询与键做点积，衡量匹配度）
2. 缩放分数   = 相似度 / √d_k      （防止梯度消失）
3. 注意力权重 = Softmax(缩放分数)   （归一化为 0~1 概率）
4. 输出      = 注意力权重 × V      （按权重对 Value 加权求和）

2. 多头注意力（Multi-Head Attention）

不是用一组 QKV，而是并行跑多组（如 8 个头）。每个头能从不同角度”看”输入——比如一个头关注语法关系，另一个关注距离依赖，还有一个关注语义相似性。

最终把各头输出拼接起来，再线性投影。

3. 位置编码（Positional Encoding）

注意力本身不看位置顺序。为了让模型知道”A 在 B 之前”，需要注入位置信息（正弦/余弦编码或可学习的位置嵌入）。

三、实操：用代码理解注意力

import torch
import torch.nn.functional as F

def scaled_dot_product_attention(Q, K, V):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k))
    attn_weights = F.softmax(scores, dim=-1)
    output = torch.matmul(attn_weights, V)
    return output, attn_weights

# 模拟 2 个 Token、dim=4 的 Q、K、V
Q = torch.randn(2, 4)
K = torch.randn(2, 4)
V = torch.randn(2, 4)
output, weights = scaled_dot_product_attention(Q, K, V)
print("注意力权重:\n", weights)  # 每行=一个Token对其他Token的关注度

四、工具推荐表

五、FAQ 常见问题

Q1：注意力机制和 CNN/RNN 有什么区别？ CNN 只看局部（卷积核）、RNN 顺序处理（慢），注意力机制全局并行（快且长距离关联强）。

Q2：为什么叫”多头”？ 多个注意力头并行计算，各自学到不同特征，类似图像 CNN 中不同卷积核提取不同特征。

Q3：注意力机制的计算复杂度是多少？ O(n²·d)，n 是序列长度。长序列很吃内存，催生了 FlashAttention 等优化算法。

Q4：注意力权重怎么看？ 可对权重矩阵可视化，观察模型在生成每个词时”看了”输入的哪些位置——这是可解释性分析的重要工具。

Q5：有没有更高效的注意力变种？ 有，如 MQA（Multi-Query Attention）、GQA（Grouped-Query Attention），通过共享 KV 来减少显存。

延伸阅读：什么是大语言模型（LLM）？ 看注意力机制如何支撑整个大模型。