C-Attn 与 QKV
用“猫、吃、鱼”三个 token,逐步观察联合线性投影、Q·Kᵀ、softmax 与加权 V 如何组成一次注意力计算。
输入 X:每行是一个 token
Wc_attn = [ WQ | WK | WV ]
WQ
WK
WV
[Q | K | V] = X · Wc_attn (省略 bias)
一次线性层,同时切出 Q、K、V
Q
K
V
Q · Query
当前 token 想找什么?
K · Key
每个 token 用什么特征接受匹配?
V · Value
匹配成功后,实际取走什么内容?
“吃”的 Q
Q · Kᵀ ÷ √3
softmax → 注意力权重
权重 × V → 新上下文