
Stanford CS336 学习记录 06:Pre-Norm Transformer Block 与完整语言模型装配
将 RMSNorm、带 RoPE 的因果多头自注意力和 SwiGLU 组装成 Pre-Norm Transformer Block,搭建完整 TransformerLM,并核算 GPT-2 XL 的参数量与前向 FLOPs。
FOLLOW THIS THREAD
Notes on this topic
6 篇公开笔记,沿着这个标签慢慢读。

将 RMSNorm、带 RoPE 的因果多头自注意力和 SwiGLU 组装成 Pre-Norm Transformer Block,搭建完整 TransformerLM,并核算 GPT-2 XL 的参数量与前向 FLOPs。

从二维平面正交旋转推导 RoPE 的奇偶特征配对公式,理解为什么内积只依赖相对位置差 (i - j),并用 register_buffer 预计算 cos/sin 缓存接入因果多头自注意力。

沿着 (2, 5, 64) 的输入追踪 QKV 投影、reshape、transpose、共享因果 mask 和合头,理解每个头仍处理完整序列,以及最后为什么还需要输出 Linear。

从减去最大值为何不改变 Softmax 开始,理清函数与有参数层的区别,再沿着 Q、K、V 的形状理解缩放点积注意力,以及 mask 为什么必须填负无穷。

用一个 token 向量理解均方根归一化,拆开 dim=-1 与 keepdim=True 的作用,再沿着两条分支读懂 SiLU、逐元素乘法和 SwiGLU。

从 PyTorch 类、参数与 forward 的关系开始,理解 Linear 为什么保存两行三列的权重、计算时为什么要转置,再区分 Embedding 查表与线性变换。