作为 Stanford CS336 Assignment 1 系列的收官篇,我们已经拥有了分词器(bpe.py、tokenizer.py)和完整的语言模型架构(transformer.py)。要让模型在语料上真正训练并生成文本,还需要完成最后四大支柱:数值稳定的交叉熵损失、AdamW 优化器与学习率/梯度控制、流式数据采样与 Checkpoint 序列化,以及 Temperature + Top- 自回归解码。
本篇完成后,liangqianxing/cs336-labs 仓库通过了官方测试套件的全部测试。
数值稳定 Cross-Entropy:把 和 消掉#
给定未归一化 logits 和真实类别下标 ,单样本交叉熵损失定义为负对数似然:
如果先调用 softmax(o) 再取 -torch.log(prob),当 logits 被放大到 1000.0 * inputs(对应官方测试 test_cross_entropy 的溢出测试分支)时,非最大类的概率 会直接下溢成浮点数 0.0,随后 log(0.0) 变成 -inf。
正确做法是先把分式拆开,在减去行最大值 后直接化简为 LogSumExp 形式,把分子上的 与 解析抵消:
在 cs336_basics/nn_utils.py 中,用 torch.gather 取出目标类别对应的平移后 logit,只需 6 行即可同时支持任意前导 batch 维度与极端大数值输入:
def cross_entropy(inputs: torch.Tensor, targets: torch.Tensor) -> torch.Tensor:
max_logits = torch.amax(inputs, dim=-1, keepdim=True)
shifted = inputs - max_logits
log_sum_exp = torch.log(torch.sum(torch.exp(shifted), dim=-1))
target_logits = torch.gather(shifted, dim=-1, index=targets.long().unsqueeze(-1)).squeeze(-1)
return (log_sum_exp - target_logits).mean()
语言模型的困惑度(Perplexity)则是序列平均交叉熵的指数:。
全局 梯度裁剪(Gradient Clipping)#
训练过程中遇到异常样本可能产生幅度极高的梯度,导致参数更新一步飞出稳定区域。全局梯度裁剪不是按单个参数矩阵分别裁剪,而是先计算所有可训练参数梯度的联合 范数:
当 时,将每个参数的梯度原地乘以缩放系数 (其中 ):
grads = [p.grad for p in parameters if p.grad is not None]
total_norm = torch.sqrt(sum(torch.sum(g.detach().to(torch.float32) ** 2) for g in grads))
if total_norm > max_l2_norm:
scale = max_l2_norm / (total_norm + eps)
for g in grads:
g.detach().mul_(scale.to(g.dtype))
注意官方测试 test_gradient_clipping 会特意把最后一个参数设为 requires_grad_(False),它的 p.grad 为 None,必须先过滤掉 p.grad is not None 才能汇总范数。
解耦权重衰减的 AdamW 优化器与训练显存核算#
按照 Loshchilov & Hutter (2019) 与讲义算法 1,在第 步,AdamW 对每个参数 维护一阶动量 和二阶动量 :
这里最关键的区别在于:权重衰减项 直接使用原始学习率 与解耦的权重衰减率 ,不混入梯度 和二阶动量分母 。状态字典 self.state[p] 中保存步数 step、一阶矩 exp_avg 和二阶矩 exp_avg_sq,从而天然支持 optimizer.state_dict() 序列化。
AdamW 训练峰值显存核算(Problem adamw_accounting)#
假设全部使用 FP32(每元素 4 字节),训练时的显存由四部分组成:
- 模型参数(Parameters): 字节;
- 参数梯度(Gradients): 字节;
- AdamW 优化器状态(Optimizer State, 与 ): 字节。
仅这三项静态状态就高达 字节。对于上一篇核算的 GPT-2 XL(),静态显存基数 。再加上每层前向激活值(RMSNorm、QKV、注意力分数矩阵 、注意力权重、SwiGLU 中间激活等)随 batch_size 线性增长的斜率项 (在 下约为 ),在单张 80GB H100 GPU 上不启用激活重计算(Activation Checkpointing)或混合精度时,最大只能塞下 batch_size = 3。
Warmup + 余弦退火学习率调度#
get_lr_cosine_schedule 将训练步 划分为三个阶段:
线性预热避免了训练最初几步二阶动量尚未稳定时过大的步长冲毁初始表示,随后的余弦退火让模型在后期平滑收敛到高曲率极小值区域。
随机窗口采样 get_batch、Checkpoint 与 Top- 解码#
1. 向量化滑动窗口采样 get_batch#
给定长度为 的一维 token 数组 dataset 和上下文长度 context_length ,合法的起点下标范围是 (因为标签 y 需要向右偏移 1 位取到 start + m):
start_indices = np.random.randint(0, len(dataset) - context_length, size=(batch_size,))
offsets = np.arange(context_length)
window_indices = start_indices[:, None] + offsets[None, :]
x = torch.as_tensor(dataset[window_indices], dtype=torch.long).to(device)
y = torch.as_tensor(dataset[window_indices + 1], dtype=torch.long).to(device)
配合 np.memmap(path, dtype=np.uint16, mode="r"),即使面对数十 GB 的 OpenWebText 词元文件,操作系统也只会按页调入当前 batch 采样的切片,实现恒定内存开销的数据加载。
2. Checkpoint 保存与恢复#
save_checkpoint 将 model.state_dict()、optimizer.state_dict() 和当前迭代步数 iteration 打包为字典写入磁盘或二进制流;load_checkpoint 恢复模型与优化器动量状态并返回 iteration,通过了官方 test_checkpointing 对所有权重与动量张量的精确比对。
3. Temperature 缩放与 Top-(Nucleus)采样解码#
在 cs336_basics/decoding.py 中,generate 接收前缀 prompt,每步取最后一个位置的 logits:
- 先除以温度 并做 Softmax 得到概率分布 ;
- 将概率按从大到小排序得到 ,计算累积和 ,把进入当前 token 之前累积概率已经达到阈值 的尾部低概率词置零(
cumulative_probs - sorted_probs >= top_p),重新归一化后调用torch.multinomial采样。
全量测试套件与最小训练闭环验证#
在仓库根目录执行 bash scripts/check_completed.sh,运行官方全部 7 个测试文件:
tests/test_data.py::test_get_batch PASSED
tests/test_model.py (13 passed)
tests/test_nn_utils.py (3 passed)
tests/test_optimizer.py (2 passed)
tests/test_serialization.py::test_checkpointing PASSED
tests/test_tokenizer.py (23 passed, 2 skipped)
tests/test_train_bpe.py (3 passed)
======================== 46 passed, 2 skipped in 4.66s =========================
同时执行 python -m cs336_basics.train 完成从合成词元加载、Warmup 余弦学习率调度、前向/反向传播、梯度裁剪、AdamW 更新、验证集困惑度评估到 Top- 文本生成的完整端到端闭环验证。
封面使用 aigc-image-generator 辅助生成,属于概念插画;准确的公式、代码与测试结果以正文为准。

评论
评论由 GitHub Discussions 驱动,使用 GitHub 账号登录即可留言。