
从 Linear、Embedding 搞清张量形状
从 PyTorch 类、参数与 forward 的关系开始,理解 Linear 为什么保存两行三列的权重、计算时为什么要转置,再区分 Embedding 查表与线性变换。
LEARNING NOTEBOOK / 学习专题
Language Modeling from Scratch
不依赖 PyTorch 高层黑盒 API,从底层张量契约与算子原语完整实现 Stanford CS336 Assignment 1 全栈语言模型:涵盖 Byte-Level BPE 分词器(倒排索引增量训练 + 流式编码)、Pre-Norm Transformer LM(Linear / Embedding / RMSNorm / SwiGLU / RoPE / 因果多头自注意力)、数值稳定 Cross-Entropy、AdamW 优化器、余弦退火调度、Checkpoint 序列化与 Top-p 采样解码,100% 通过官方全部 48 项单元测试。
01 / LEARNING LOG
按学习顺序,回看每一步练习。

从 PyTorch 类、参数与 forward 的关系开始,理解 Linear 为什么保存两行三列的权重、计算时为什么要转置,再区分 Embedding 查表与线性变换。

用一个 token 向量理解均方根归一化,拆开 dim=-1 与 keepdim=True 的作用,再沿着两条分支读懂 SiLU、逐元素乘法和 SwiGLU。

从减去最大值为何不改变 Softmax 开始,理清函数与有参数层的区别,再沿着 Q、K、V 的形状理解缩放点积注意力,以及 mask 为什么必须填负无穷。

沿着 (2, 5, 64) 的输入追踪 QKV 投影、reshape、transpose、共享因果 mask 和合头,理解每个头仍处理完整序列,以及最后为什么还需要输出 Linear。

从二维平面正交旋转推导 RoPE 的奇偶特征配对公式,理解为什么内积只依赖相对位置差 (i - j),并用 register_buffer 预计算 cos/sin 缓存接入因果多头自注意力。

将 RMSNorm、带 RoPE 的因果多头自注意力和 SwiGLU 组装成 Pre-Norm Transformer Block,搭建完整 TransformerLM,并核算 GPT-2 XL 的参数量与前向 FLOPs。

实现 GPT-2 正则预分词、特殊 token 硬边界切分、基于 pair-to-word 倒排索引的增量 BPE 合并算法(< 0.25s 通过速度基准),以及与 tiktoken 完全对齐的 Tokenizer。

用 LogSumExp 消去交叉熵中的指数溢出,手写解耦权重衰减的 AdamW 优化器、全局 L2 梯度裁剪、Warmup 余弦退火调度、memmap 数据采样、Checkpoint 序列化与 Top-p 解码,完成 CS336 Assignment 1 全部 48 项测试。
02 / READING SHELF
论文、译稿与实验附件,按需查阅。