
CMU 15-779 学习记录 05:Profiler、算子调用与批量推理
对照 ML Systems 基础,用 Profiler 拆开两层网络的执行过程,再固定 1000 个样本扫描 batch size,观察算子调用次数、尾批和 CPU 耗时。
FOLLOW THIS THREAD
Notes on this topic
2 篇公开笔记,沿着这个标签慢慢读。

对照 ML Systems 基础,用 Profiler 拆开两层网络的执行过程,再固定 1000 个样本扫描 batch size,观察算子调用次数、尾批和 CPU 耗时。

用 DataLoader 分批训练平方函数,保存并加载模型参数,再比较 1000 个样本与 1 个样本的推理耗时,最后把批量计算对应到矩阵乘法。