跳到主要内容
← Stanford CS336 学习专题

Stanford CS336 / 课程资料

Stanford CS336 Assignment 1:从零构建语言模型与工程核算导读

涵盖 Byte-Level BPE、Pre-Norm Transformer LM、GPT-2 XL 参数量/FLOPs/显存核算与 AdamW 训练闭环的中文导读,附官方讲义 PDF 对照。

阅读目录

Stanford CS336 Assignment 1:从零构建语言模型与工程核算导读

更新于 2026-10-27。

Stanford CS336(Language Modeling from Scratch)要求在不调用 torch.nn 预置层与 torch.nn.functional 的前提下,仅基于张量基础运算手写实现现代大语言模型的全部核心组件。本导读对照官方 Assignment 1 讲义(PDF 见右侧/下方原始文档),梳理 Byte-Level BPE 分词器、Pre-Norm Transformer 架构(RMSNorm + RoPE + SwiGLU)、参数量 / FLOPs / 显存精确核算 以及 AdamW 训练与 Top-pp 解码闭环 的完整实现脉络。

课程与代码入口#

8 篇学习记录与对应模块#

顺序学习记录实现模块 (cs336_basics/)通过的官方测试
01从 Linear、Embedding 搞清张量形状linear.py、embedding.pytest_linear、test_embedding
02RMSNorm 的广播与 SwiGLU 的门控rmsnorm.py、activations.py、swiglu.pytest_rmsnorm、test_silu_matches_pytorch、test_swiglu
03Softmax 的数值稳定与 Attention Maskactivations.py、attention.pytest_softmax_matches_pytorch、test_scaled_dot_product_attention、test_4d_scaled_dot_product_attention
04多头注意力怎样拆头、计算和合头attention.py (MultiHeadSelfAttention)test_multihead_self_attention
05RoPE 旋转位置编码与带位置的多头注意力rope.py、attention.pytest_rope、test_multihead_self_attention_with_rope
06Pre-Norm Transformer Block 与完整语言模型装配transformer.py (TransformerBlock, TransformerLM)test_transformer_block、test_transformer_lm、test_transformer_lm_truncated_input
07Byte-Level BPE 分词器训练、倒排索引加速与流式编码bpe.py、tokenizer.pytest_train_bpe* (3 项)、test_tokenizer.py (23 项)
08数值稳定交叉熵、AdamW、余弦调度与完整训练闭环nn_utils.py、optimizer.py、data.py、serialization.py、decoding.py、train.pytest_nn_utils.py (3 项)、test_optimizer.py (2 项)、test_get_batch、test_checkpointing

一、Byte-Level BPE 分词器核心要点(讲义第 2 节)#

  1. 为什么使用 UTF-8 字节级 BPE:
    • 任何 Unicode 字符串编码为 UTF-8 后都是 0∼2550 \sim 255 的字节序列,基础词表固定为 256,天然消除 <unk>(Out-of-Vocabulary)。
    • 解码时必须先拼接所有 token 的 bytes 再调用 .decode("utf-8", errors="replace"),不能逐字节解码,否则多字节汉字或 Emoji 会触发 UnicodeDecodeError。
  2. 两级预切分(Special Tokens + GPT-2 正则):
    • 先用按长度降序排列的 (|...|) 正则切出 <|endoftext|> 等特殊 token,严禁跨特殊 token 边界合并。
    • 普通文本段使用 regex.finditer(PAT, segment) 拆成独立预分词单元(pre-tokens),统计唯一单词频次表。
  3. 倒排索引增量合并(bpe.py):
    • 维护 pair_counts 与 pair_to_words(每个字节对出现在哪些唯一单词下标中)。
    • 每次选出 (count, pair) 字典序最大的字节对合并,只局部更新包含该字节对的单词,将 test_train_bpe_speed 耗时从 ~3.0s 降至 0.18s。

二、Pre-Norm Transformer 架构与资源核算(讲义第 3 节)#

1. 子层结构与公式汇总#

  • RMSNorm(升 float32 计算均方根再转回原 dtype): RMSNorm⁡(x)=x1d∑j=1dxj2+ε⊙g\operatorname{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{d}\sum_{j=1}^d x_j^2 + \varepsilon}} \odot g
  • RoPE 旋转位置编码(对每头 dkd_k 维度的奇偶相邻对 (x2k−2,x2k−1)(x_{2k-2}, x_{2k-1}) 施加旋转角 θi,k=i/Θ(2k−2)/dk\theta_{i,k} = i / \Theta^{(2k-2)/d_k}): [x2k−2′x2k−1′]=[cos⁡θi,k−sin⁡θi,ksin⁡θi,kcos⁡θi,k][x2k−2x2k−1]\begin{bmatrix} x'_{2k-2} \\ x'_{2k-1} \end{bmatrix} = \begin{bmatrix} \cos\theta_{i,k} & -\sin\theta_{i,k} \\ \sin\theta_{i,k} & \cos\theta_{i,k} \end{bmatrix} \begin{bmatrix} x_{2k-2} \\ x_{2k-1} \end{bmatrix}
  • SwiGLU 门控前馈层(3 个无偏置线性矩阵 W1,W3∈Rdff×dW_1, W_3 \in \mathbb{R}^{d_{\text{ff}} \times d},W2∈Rd×dffW_2 \in \mathbb{R}^{d \times d_{\text{ff}}}): SwiGLU⁡(x)=(SiLU⁡(xW1⊤)⊙(xW3⊤))W2⊤\operatorname{SwiGLU}(x) = \big(\operatorname{SiLU}(x W_1^\top) \odot (x W_3^\top)\big) W_2^\top
  • Pre-Norm Transformer Block: h=x+MHA⁡(RMSNorm⁡1(x)),y=h+SwiGLU⁡(RMSNorm⁡2(h))h = x + \operatorname{MHA}(\operatorname{RMSNorm}_1(x)), \qquad y = h + \operatorname{SwiGLU}(\operatorname{RMSNorm}_2(h))

2. 参数量与 FLOPs 闭合公式(Problem transformer_accounting)#

设词表大小 VV、上下文长度 SS、层数 LL、隐藏维 dd、FFN 维 dffd_{\text{ff}}:

  • 可训练参数总数: Nparams=2Vd+L(4d2+3ddff+2d)+dN_{\text{params}} = 2 V d + L\big(4 d^2 + 3 d d_{\text{ff}} + 2 d\big) + d
  • 单样本(B=1B=1)前向传播矩阵乘法总 FLOPs: FLOPsfwd=L(8Sd2+4S2d+6Sddff)+2SdV\text{FLOPs}_{\text{fwd}} = L\big(8 S d^2 + 4 S^2 d + 6 S d d_{\text{ff}}\big) + 2 S d V

以讲义要求的 GPT-2 XL(V=50,257,S=1,024,L=48,d=1,600,H=25,dff=4,288V=50{,}257, S=1{,}024, L=48, d=1{,}600, H=25, d_{\text{ff}}=4{,}288)为例:

  • 参数量 Nparams=1,640,452,800≈1.640 BN_{\text{params}} = 1{,}640{,}452{,}800 \approx 1.640\text{ B}(FP32 权重占 6.56 GB6.56\text{ GB});
  • 单样本前向 FLOPs 为 4.513×10124.513 \times 10^{12}(4.51 TFLOPs),其中 SwiGLU FFN 占 67.25%,QKVO 投影占 22.30%,注意力矩阵乘法 QK⊤+PVQK^\top + PV 占 7.14%,lm_head 占 3.31%。

三、交叉熵、AdamW 显存核算与训练闭环(讲义第 4~6 节)#

  1. LogSumExp 交叉熵: ℓ(o,y)=log⁡∑a=1Vexp⁡(oa−m)−(oy−m),m=max⁡aoa\ell(o, y) = \log \sum_{a=1}^V \exp(o_a - m) - (o_y - m), \qquad m = \max_a o_a
  2. 解耦权重衰减 AdamW: θt=θt−1−α1−β2t1−β1tmtvt+ε−αλθt−1\theta_t = \theta_{t-1} - \alpha \frac{\sqrt{1 - \beta_2^t}}{1 - \beta_1^t} \frac{m_t}{\sqrt{v_t} + \varepsilon} - \alpha \lambda \theta_{t-1}
  3. FP32 AdamW 训练显存公式(Problem adamw_accounting):
    • 静态显存(参数 + 梯度 + m,vm, v 状态)=(4+4+8)Nparams=16Nparams= (4 + 4 + 8) N_{\text{params}} = 16 N_{\text{params}} 字节。
    • 对 GPT-2 XL,静态部分占 26.25 GB26.25\text{ GB},每样本激活值约 14.9 GB14.9\text{ GB},80GB H100 在纯 FP32 下最大支持 batch_size = 3。
  4. 全量测试验证命令:
    bash
    bash scripts/check_completed.sh
    # ======================== 46 passed, 2 skipped in 4.66s =========================
    
原文 PDF 对照

正文插图来自原始 PDF,点击图片可放大查看。也可以在下方翻阅完整原文。

在新窗口打开原文 PDF ↗