
Stanford CS336 学习记录 06:Pre-Norm Transformer Block 与完整语言模型装配
将 RMSNorm、带 RoPE 的因果多头自注意力和 SwiGLU 组装成 Pre-Norm Transformer Block,搭建完整 TransformerLM,并核算 GPT-2 XL 的参数量与前向 FLOPs。
FOLLOW THIS THREAD
Notes on this topic
1 篇公开笔记,沿着这个标签慢慢读。

将 RMSNorm、带 RoPE 的因果多头自注意力和 SwiGLU 组装成 Pre-Norm Transformer Block,搭建完整 TransformerLM,并核算 GPT-2 XL 的参数量与前向 FLOPs。