
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
用 LogSumExp 消去交叉熵中的指数溢出,手写解耦权重衰减的 AdamW 优化器、全局 L2 梯度裁剪、Warmup 余弦退火调度、memmap 数据采样、Checkpoint 序列化与 Top-p 解码,完成 CS336 Assignment 1 全部 48 项测试。
FOLLOW THIS THREAD
Notes on this topic
1 篇公开笔记,沿着这个标签慢慢读。

用 LogSumExp 消去交叉熵中的指数溢出,手写解耦权重衰减的 AdamW 优化器、全局 L2 梯度裁剪、Warmup 余弦退火调度、memmap 数据采样、Checkpoint 序列化与 Top-p 解码,完成 CS336 Assignment 1 全部 48 项测试。