
Stanford CS336 学习记录 03:Softmax 的数值稳定与 Attention Mask
从减去最大值为何不改变 Softmax 开始,理清函数与有参数层的区别,再沿着 Q、K、V 的形状理解缩放点积注意力,以及 mask 为什么必须填负无穷。
FOLLOW THIS THREAD
Notes on this topic
2 篇公开笔记,沿着这个标签慢慢读。

从减去最大值为何不改变 Softmax 开始,理清函数与有参数层的区别,再沿着 Q、K、V 的形状理解缩放点积注意力,以及 mask 为什么必须填负无穷。

在 CPU 上对照完整 Attention、在线 Softmax 分块实现与 PyTorch SDPA,检查因果掩码、浮点误差和分数块大小,理解 FlashAttention 的一部分算法基础。