
PyTorch 自动求导与线性回归
从自动求导和手动梯度下降开始,比较学习率,再用 SGD 训练线性回归。记录 w * 4 写错后停在 1.25 的原因和修正结果。
LEARNING NOTEBOOK / 学习专题
Advanced Topics in Machine Learning Systems (LLM Edition)
围绕大模型机器学习系统核心脉络,收录 6 篇经典系统论文中文精译(PyTorch / TensorFlow / Transformer / FlashAttention / Triton / TVM)与 14 篇从零实现的 GPU 算子及服务实验记录(共享内存分块 GEMM、Online Softmax、KV Cache 粒度建模、Speculative Sampling、LoRA 量化与 MoE 路由)。
01 / LEARNING LOG
按学习顺序,回看每一步练习。

从自动求导和手动梯度下降开始,比较学习率,再用 SGD 训练线性回归。记录 w * 4 写错后停在 1.25 的原因和修正结果。

从带偏置的线性回归开始,弄清 nn.Linear 和 nn.Module 的分工,再用平方函数观察线性模型的限制、ReLU 的作用和测试点的选择。

用 DataLoader 分批训练平方函数,保存并加载模型参数,再比较 1000 个样本与 1 个样本的推理耗时,最后把批量计算对应到矩阵乘法。

把 nn.Linear 对应到矩阵乘法,弄清多个输出怎样计算,再逐层拆开一个绝对值网络,比较手动设置参数与训练得到的结果。

对照 ML Systems 基础,用 Profiler 拆开两层网络的执行过程,再固定 1000 个样本扫描 batch size,观察算子调用次数、尾批和 CPU 耗时。

用 CPU 演示 CUDA 的 block、thread 与全局下标:10 个元素如何分给 3 个线程块,为什么要跳过越界线程,以及这些验证能说明什么。

用 CPU 模型统计矩阵分块的输入读取次数,再比较串行求和和树形归约的依赖深度,记录补零、同步与浮点加法顺序的边界。

在 CPU 上对照完整 Attention、在线 Softmax 分块实现与 PyTorch SDPA,检查因果掩码、浮点误差和分数块大小,理解 FlashAttention 的一部分算法基础。

用 CPU 实验验证 BatchNorm 折叠、RMSNorm 重排与非线性反例,测量分块候选,并运行 TorchInductor,分别记录首调用与预热后的时间。

用双 CPU 进程 Gloo 检查不等数据分片的梯度,推导持久状态字节数,再用依赖模型比较 GPipe 与同步 1F1B 的激活存活。

在 CPU 上验证 KV 页共享和写时复制,用单位成本模型检查连续批处理,再用条件概率小模型核对推测采样的接受与补采样。

用一次 CPU SGD 更新检查 LoRA 初始化、冻结基座与合并等价,再分别记录均匀 4-bit 存储字节数和量化误差。

用 CPU top-2 MoE 检查稀疏分发的输出与梯度,统计 expert-token 行数,并保留容量丢弃会改变输出的反例。

用 210 组 CPU 配置比较连续与分页 KV cache,观察 31/32-token 共享前缀的页边界,分别记录活跃槽位、池容量、复制计数和完整调用耗时。
02 / READING SHELF
论文、译稿与实验附件,按需查阅。