2026-09-30CMU 15-779 #10约 6 分钟CMU 15-779 学习记录 10:加权梯度、状态分片与同步流水线↗用双 CPU 进程 Gloo 检查不等数据分片的梯度,推导持久状态字节数,再用依赖模型比较 GPipe 与同步 1F1B 的激活存活。