2026-10-09CMU 15-779 #13约 5 分钟CMU 15-779 学习记录 13:MoE 路由、稀疏分发与容量溢出↗用 CPU top-2 MoE 检查稀疏分发的输出与梯度,统计 expert-token 行数,并保留容量丢弃会改变输出的反例。