
CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
用 CPU 模型统计矩阵分块的输入读取次数,再比较串行求和和树形归约的依赖深度,记录补零、同步与浮点加法顺序的边界。
FOLLOW THIS THREAD
Notes on this topic
3 篇公开笔记,沿着这个标签慢慢读。

用 CPU 模型统计矩阵分块的输入读取次数,再比较串行求和和树形归约的依赖深度,记录补零、同步与浮点加法顺序的边界。

用 CPU 演示 CUDA 的 block、thread 与全局下标:10 个元素如何分给 3 个线程块,为什么要跳过越界线程,以及这些验证能说明什么。

从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。