
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
用 210 组 CPU 配置比较连续与分页 KV cache,观察 31/32-token 共享前缀的页边界,分别记录活跃槽位、池容量、复制计数和完整调用耗时。
FOLLOW THIS THREAD
Notes on this topic
14 篇公开笔记,沿着这个标签慢慢读。

用 210 组 CPU 配置比较连续与分页 KV cache,观察 31/32-token 共享前缀的页边界,分别记录活跃槽位、池容量、复制计数和完整调用耗时。

用 CPU top-2 MoE 检查稀疏分发的输出与梯度,统计 expert-token 行数,并保留容量丢弃会改变输出的反例。

用一次 CPU SGD 更新检查 LoRA 初始化、冻结基座与合并等价,再分别记录均匀 4-bit 存储字节数和量化误差。

在 CPU 上验证 KV 页共享和写时复制,用单位成本模型检查连续批处理,再用条件概率小模型核对推测采样的接受与补采样。

用双 CPU 进程 Gloo 检查不等数据分片的梯度,推导持久状态字节数,再用依赖模型比较 GPipe 与同步 1F1B 的激活存活。

用 CPU 实验验证 BatchNorm 折叠、RMSNorm 重排与非线性反例,测量分块候选,并运行 TorchInductor,分别记录首调用与预热后的时间。

在 CPU 上对照完整 Attention、在线 Softmax 分块实现与 PyTorch SDPA,检查因果掩码、浮点误差和分数块大小,理解 FlashAttention 的一部分算法基础。

用 CPU 模型统计矩阵分块的输入读取次数,再比较串行求和和树形归约的依赖深度,记录补零、同步与浮点加法顺序的边界。

用 CPU 演示 CUDA 的 block、thread 与全局下标:10 个元素如何分给 3 个线程块,为什么要跳过越界线程,以及这些验证能说明什么。

对照 ML Systems 基础,用 Profiler 拆开两层网络的执行过程,再固定 1000 个样本扫描 batch size,观察算子调用次数、尾批和 CPU 耗时。

把 nn.Linear 对应到矩阵乘法,弄清多个输出怎样计算,再逐层拆开一个绝对值网络,比较手动设置参数与训练得到的结果。

用 DataLoader 分批训练平方函数,保存并加载模型参数,再比较 1000 个样本与 1 个样本的推理耗时,最后把批量计算对应到矩阵乘法。

从带偏置的线性回归开始,弄清 nn.Linear 和 nn.Module 的分工,再用平方函数观察线性模型的限制、ReLU 的作用和测试点的选择。

从自动求导和手动梯度下降开始,比较学习率,再用 SGD 训练线性回归。记录 w * 4 写错后停在 1.25 的原因和修正结果。