TVM:面向深度学习的自动化端到端优化编译器
OSDI 2018 幻灯片中文翻译#
- 来源文件:
osdi18_slides_chen.pdf - 页数: 110 页
- 说明: 本译稿按 PDF 页码逐页对应。Keynote 动画导出会把一张幻灯片拆成多个页面;对于仅新增少量元素的构建页,译文明确写出新增内容,同时保留该页可见的全部标签、公式、代码和图表说明。
- 术语约定: TVM、VTA、CUDA、LLVM、cuDNN、Halide、Loopy、GEMM、JIT 等专有名词保留英文;首次出现时给出中文释义。
- 图表说明: 源 PDF 中的柱线、流程框和加速器示意图属于绘图对象,译稿翻译其可提取文字并描述含义;具体柱高和布局请结合原 PDF 对照。
第 1 页|TVM:面向深度学习的自动化端到端优化编译器#
TVM 原始幻灯片第 1 页:TVM:面向深度学习的自动化端到端优化编译器 · 点击放大查看
作者: Tianqi Chen、Thierry Moreau、Ziheng Jiang、Lianmin Zheng、Eddie Yan、Meghan Cowan、Haichen Shen、Leyuan Wang、Yuwei Hu、Luis Ceze、Carlos Guestrin、Arvind Krishnamurthy。
本页是 OSDI 2018 报告的标题页。
第 2 页|合作人员#
TVM 原始幻灯片第 2 页:合作人员 · 点击放大查看
合作实验室:SAMPL Lab(https://sampl.cs.washington.edu)。
第 3 页|故事的开端#
TVM 原始幻灯片第 3 页:故事的开端 · 点击放大查看
本页仅显示章节标题“故事的开端”,引出专用深度学习加速器与编译器之间的关系。
第 4 页|故事的开端:加速器#
TVM 原始幻灯片第 4 页:故事的开端:加速器 · 点击放大查看
页面中央标出“加速器(Accelerator)”,表示从专用硬件的演进开始叙述。
第 5 页|故事的开端:加速器#
TVM 原始幻灯片第 5 页:故事的开端:加速器 · 点击放大查看
动画构建页,继续突出“加速器(Accelerator)”这一主题。
第 6 页|故事的开端:VIA 加速器微代码#
TVM 原始幻灯片第 6 页:故事的开端:VIA 加速器微代码 · 点击放大查看
本页展示 VIA 加速器的多线程分块卷积微代码,以及最大池化、批归一化和激活函数的访问模式。寄存器索引由二维仿射函数计算。
(a) 多线程上下文的分块卷积程序(伪代码)
// 虚拟线程 0
0x00: LOAD(PARAM[ 0-71]) // LD@TID0
0x01: LOAD(ACTIV[ 0-24]) // LD@TID0
0x02: LOAD(LDBUF[ 0-31]) // LD@TID0
0x03: PUSH(LD->EX) // LD@TID0
0x04: POP (LD->EX) // EX@TID0
0x05: EXE (ACTIV[0-24], PARAM[0-71], LDBUF[0-31], STBUF[0-7]) // EX@TID0
0x06: PUSH(EX->LD) // EX@TID0
0x07: PUSH(EX->ST) // EX@TID0
0x08: POP (EX->ST) // ST@TID0
0x09: STOR(STBUF[0-7]) // ST@TID0
0x0A: PUSH(ST->EX) // ST@TID0
// 虚拟线程 1
0x0B: LOAD(ACTIV[25-50]) // LD@TID1
0x0C: LOAD(LDBUF[32-63]) // LD@TID1
0x0D: PUSH(LD->EX) // LD@TID1
0x0E: POP (LD->EX) // EX@TID1
0x0F: EXE (ACTIV[25-50], PARAM[0-71], LDBUF[32-63], STBUF[32-39]) // EX@TID1
0x10: PUSH(EX->LD) // EX@TID1
0x11: PUSH(EX->ST) // EX@TID1
0x12: POP (EX->ST) // ST@TID1
0x13: STOR(STBUF[32-39]) // ST@TID1
0x14: PUSH(ST->EX) // ST@TID1
// 虚拟线程 2
0x15: POP (EX->LD) // LD@TID2
0x16: LOAD(PARAM[0-71]) // LD@TID2
0x17: LOAD(ACTIV[0-24]) // LD@TID2
0x18: LOAD(LDBUF[0-31]) // LD@TID2
0x19: PUSH(LD->EX) // LD@TID2
0x1A: POP (LD->EX) // EX@TID2
0x1B: POP (ST->EX) // EX@TID2
0x1C: EXE (ACTIV[0-24], PARAM[0-71], LDBUF[0-31], STBUF[0-7]) // EX@TID2
0x1D: PUSH(EX->ST) // EX@TID2
0x1E: POP (EX->ST) // ST@TID2
0x1F: STOR(STBUF[0-7]) // ST@TID2
// 虚拟线程 3
0x20: POP (EX->LD) // LD@TID3
0x21: LOAD(ACTIV[25-50]) // LD@TID3
0x22: LOAD(LDBUF[32-63]) // LD@TID3
0x23: PUSH(LD->EX) // LD@TID3
0x24: POP (LD->EX) // EX@TID3
0x25: POP (ST->EX) // EX@TID2
0x26: EXE (ACTIV[25-50], PARAM[0-71], LDBUF[32-63], STBUF[32-39]) // EX@TID3
0x27: PUSH(EX->ST) // EX@TID3
0x28: POP (EX->ST) // ST@TID3
0x29: STOR(STBUF[32-39]) // ST@TID3
(b) 卷积访问模式: 对 、,例如 idxrf = a_rf*y + b_rf*x + c_rf0;其中 c_rf0 由微操作字段给出,并执行 rf[idxrf] += GEVM(act[idxact], par[idxpar])。
(c) 最大池化、批归一化和激活:
// 最大池化
rf[idxdst0] = MAX(rf[idxdst0], rf[idxsrc0])
rf[idxdst1] = MAX(rf[idxdst1], rf[idxsrc1])
// 批归一化(示意)
rf[idxdstm] = MUL(rf[idxdstm], rf[idxsrcm])
rf[idxdstm+1] = ADD(rf[idxdstm+1], rf[idxsrcm+1])
rf[idxdstm+2] = MUL(rf[idxdstm+2], rf[idxsrcm+2])
rf[idxdstm+3] = ADD(rf[idxdstm+3], rf[idxsrcm+3])
// 激活
rf[idxdstn-1] = RELU(rf[idxdstn-1], rf[idxsrcn-1])
rf[idxdstn] = RELU(rf[idxdstn], rf[idxsrcn])
第 7 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 7 页:目标:让深度学习无处不在 · 点击放大查看
框架(Frameworks)。本页开始讨论将深度学习部署到各种设备的目标。
第 8 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 8 页:目标:让深度学习无处不在 · 点击放大查看
模型和框架的爆炸式增长(Explosion of models and frameworks)。 随着网络结构和软件框架不断增加,手工适配成本迅速上升。
第 9 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 9 页:目标:让深度学习无处不在 · 点击放大查看
在模型/框架爆炸之外,又出现了硬件后端的爆炸式增长(Explosion of hardware backends)。
第 10 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 10 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 11 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 11 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 12 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 12 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 13 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 13 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 14 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 14 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 15 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 15 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 16 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 16 页:目标:让深度学习无处不在 · 点击放大查看
动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。
第 17 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 17 页:目标:让深度学习无处不在 · 点击放大查看
页面同时列出:
- 模型和框架的爆炸式增长;
- 硬件后端的爆炸式增长;
- 加速器(Accelerator)。
第 18 页|目标:让深度学习无处不在#
TVM 原始幻灯片第 18 页:目标:让深度学习无处不在 · 点击放大查看
页面明确指出:模型/框架与硬件后端之间存在巨大鸿沟(Huge gap between model/frameworks and hardware backends)。
第 19 页|现有方法#
TVM 原始幻灯片第 19 页:现有方法 · 点击放大查看
框架(Frameworks)与硬件(Hardware)之间需要衔接。
第 20 页|现有方法:高层数据流图#
TVM 原始幻灯片第 20 页:现有方法:高层数据流图 · 点击放大查看
框架生成高层数据流图(High-level data flow graph),再交给硬件侧执行。
第 21 页|现有方法:原语张量算子#
TVM 原始幻灯片第 21 页:现有方法:原语张量算子 · 点击放大查看
高层图由诸如 Conv2D 的原语张量算子(Primitive Tensor operators)组成。
第 22 页|现有方法:调用优化算子库#
TVM 原始幻灯片第 22 页:现有方法:调用优化算子库 · 点击放大查看
示例:cuDNN。将算子卸载(offload)到高度优化的 DNN 算子库。
这种方法依赖为每个硬件平台预先手工实现和调优算子。
第 23 页|现有方法:工程化优化张量算子#
TVM 原始幻灯片第 23 页:现有方法:工程化优化张量算子 · 点击放大查看
章节标题:通过工程手段为张量算子编写优化实现。
第 24 页|现有方法:工程化优化张量算子#
TVM 原始幻灯片第 24 页:现有方法:工程化优化张量算子 · 点击放大查看
动画构建页,继续展示“工程化优化张量算子”的流程。
第 25 页|矩阵乘:算子规格#
TVM 原始幻灯片第 25 页:矩阵乘:算子规格 · 点击放大查看
Matmul:算子规格(Operator Specification)。
C = tvm.compute((m, n),
lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))
该声明描述输出张量 C[y,x] 沿归约轴 k 对 A[k,y] 与 B[k,x] 求和。
第 26 页|矩阵乘:算子规格#
TVM 原始幻灯片第 26 页:矩阵乘:算子规格 · 点击放大查看
动画构建页:重复显示矩阵乘规格,强调规格与具体实现策略相互独立。
C = tvm.compute((m, n),
lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))
第 27 页|矩阵乘:朴素代码#
TVM 原始幻灯片第 27 页:矩阵乘:朴素代码 · 点击放大查看
朴素实现(Vanilla Code):
for y in range(1024):
for x in range(1024):
C[y][x] = 0
for k in range(1024):
C[y][x] += A[k][y] * B[k][x]
这是规格的直接三重循环实现,没有利用局部性或专用硬件。
第 28 页|矩阵乘:循环分块提升局部性#
TVM 原始幻灯片第 28 页:矩阵乘:循环分块提升局部性 · 点击放大查看
循环分块(Loop Tiling for Locality):
for yo in range(128):
for xo in range(128):
C[yo*8:yo*8+8][xo*8:xo*8+8] = 0
for ko in range(128):
for yi in range(8):
for xi in range(8):
for ki in range(8):
C[yo*8+yi][xo*8+xi] += \
A[ko*8+ki][yo*8+yi] * B[ko*8+ki][xo*8+xi]
把 1024×1024 的循环切成 8×8 tile,使数据可在缓存/片上存储中复用。
第 29 页|矩阵乘:映射到加速器#
TVM 原始幻灯片第 29 页:矩阵乘:映射到加速器 · 点击放大查看
映射到加速器(Map to Accelerators):
inp_buffer AL[8][8], BL[8][8]
acc_buffer CL[8][8]
for yo in range(128):
for xo in range(128):
vdla.fill_zero(CL)
for ko in range(128):
vdla.dma_copy2d(AL, A[ko*8:ko*8+8][yo*8:yo*8+8])
vdla.dma_copy2d(BL, B[ko*8:ko*8+8][xo*8:xo*8+8])
vdla.fused_gemm8x8_add(CL, AL, BL)
vdla.dma_copy2d(C[yo*8:yo*8+8, xo*8:xo*8+8], CL)
这里使用 DMA 复制、8×8 融合 GEMM 和累加缓冲区。页脚指出:优化代码需要人工探索(Human exploration of optimized code)。
第 30 页|现有方法的局限#
TVM 原始幻灯片第 30 页:现有方法的局限 · 点击放大查看
框架侧调用 cuDNN 等库。页面开始展示现有方法的问题。
第 31 页|现有方法的局限#
TVM 原始幻灯片第 31 页:现有方法的局限 · 点击放大查看
动画构建页(第 31 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。
第 32 页|现有方法的局限#
TVM 原始幻灯片第 32 页:现有方法的局限 · 点击放大查看
动画构建页(第 32 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。
第 33 页|现有方法的局限#
TVM 原始幻灯片第 33 页:现有方法的局限 · 点击放大查看
动画构建页(第 33 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。
第 34 页|现有方法的局限#
TVM 原始幻灯片第 34 页:现有方法的局限 · 点击放大查看
动画构建页(第 34 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。
第 35 页|现有方法的局限#
TVM 原始幻灯片第 35 页:现有方法的局限 · 点击放大查看
新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。
第 36 页|现有方法的局限#
TVM 原始幻灯片第 36 页:现有方法的局限 · 点击放大查看
新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。
第 37 页|现有方法的局限#
TVM 原始幻灯片第 37 页:现有方法的局限 · 点击放大查看
新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。
第 38 页|现有方法的局限#
TVM 原始幻灯片第 38 页:现有方法的局限 · 点击放大查看
算子融合可能获得 1.5 倍加速,但页面强调:工程工作量很大(Engineering intensive)。每种模型、形状、硬件组合都可能需要新的手工实现。
第 39 页|基于学习的学习系统#
TVM 原始幻灯片第 39 页:基于学习的学习系统 · 点击放大查看
框架提供高层数据流图和优化(High-level data flow graph and optimizations),硬件执行优化后的程序。
第 40 页|基于学习的学习系统#
TVM 原始幻灯片第 40 页:基于学习的学习系统 · 点击放大查看
动画构建页:继续显示高层图优化与硬件之间的连接。
第 41 页|基于学习的学习系统#
TVM 原始幻灯片第 41 页:基于学习的学习系统 · 点击放大查看
加入面向硬件的优化张量程序搜索空间(Hardware-aware Search Space of Optimized Tensor Programs)。
第 42 页|基于学习的学习系统#
TVM 原始幻灯片第 42 页:基于学习的学习系统 · 点击放大查看
加入基于机器学习的程序优化器(Machine Learning based Program Optimizer)。
第 43 页|基于学习的学习系统#
TVM 原始幻灯片第 43 页:基于学习的学习系统 · 点击放大查看
学习型优化器可以针对新的算子工作负载和新硬件,直接生成优化程序(directly generate optimized program for new operator workloads and hardware)。
第 44 页|基于学习的学习系统#
TVM 原始幻灯片第 44 页:基于学习的学习系统 · 点击放大查看
动画构建页:完整流程为“框架 → 高层数据流图与优化 → 面向硬件的搜索空间 → 机器学习程序优化器 → 硬件”。
第 45 页|基于学习的学习系统#
TVM 原始幻灯片第 45 页:基于学习的学习系统 · 点击放大查看
与第 44 页相同的完整流程,作为章节过渡页。
第 46 页|面向硬件的搜索空间:张量表达式语言#
TVM 原始幻灯片第 46 页:面向硬件的搜索空间:张量表达式语言 · 点击放大查看
张量表达式语言(Tensor Expression Language,规格层)描述矩阵乘:
C = tvm.compute((m, n),
lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))
下方连接到硬件,表示表达式最终要映射到具体硬件程序。
第 47 页|面向硬件的搜索空间:从表达式到硬件#
TVM 原始幻灯片第 47 页:面向硬件的搜索空间:从表达式到硬件 · 点击放大查看
定义从表达式到硬件程序的面向硬件映射搜索空间。设计基于 Halide 的“计算/调度分离”(compute/schedule separation):计算定义语义,调度选择实现方式。
第 48 页|面向硬件的搜索空间:CPU#
TVM 原始幻灯片第 48 页:面向硬件的搜索空间:CPU · 点击放大查看
CPU 的计算原语与内存层次:
- 计算原语:标量(scalar)、向量(vector);
- 内存子系统:L1D、L1I、L2、L3,通常由硬件隐式管理(implicitly managed);
- 调度原语:循环变换(Loop Transformations)、缓存局部性(Cache Locality)、向量化(Vectorization)。
这些原语复用了 Halide、Loopy 等先前工作的思想。
第 49 页|支持多样硬件后端的挑战#
TVM 原始幻灯片第 49 页:支持多样硬件后端的挑战 · 点击放大查看
需要同时支持 CPU、GPU 和类似 TPU 的专用加速器。三类设备的计算原语、内存层次和管理方式差异很大。
第 50 页|面向硬件的搜索空间:GPU#
TVM 原始幻灯片第 50 页:面向硬件的搜索空间:GPU · 点击放大查看
GPU 的计算原语与内存层次:
- 设备级 L2;
- 多个 SM(流式多处理器);
- TX/L1(纹理/一级缓存);
- RF(寄存器文件);
- 计算同时包含标量、向量和混合模式;
- 片上资源在一定程度上由程序显式管理。
第 51 页|面向硬件的搜索空间:GPU#
TVM 原始幻灯片第 51 页:面向硬件的搜索空间:GPU · 点击放大查看
新增标注:计算核心之间可共享共享内存(Shared memory among compute cores)。
第 52 页|面向硬件的搜索空间:GPU#
TVM 原始幻灯片第 52 页:面向硬件的搜索空间:GPU · 点击放大查看
新增调度原语:使用共享内存(Use of Shared Memory)和线程协作(Thread Cooperation),以实现片上数据复用和协同计算。
第 53 页|面向硬件的搜索空间:类似 TPU 的专用加速器#
TVM 原始幻灯片第 53 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看
类似 TPU 的专用加速器:
- 计算原语是张量(tensor);
- 内存子系统包含 FIFO、统一缓冲区(Unified Buffer)和累加器(Acc);
- 内存由软件显式管理(explicitly managed)。
第 54 页|面向硬件的搜索空间:类似 TPU 的专用加速器#
TVM 原始幻灯片第 54 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看
与第 53 页相同的硬件抽象,强调专用加速器的 FIFO、统一缓冲区和累加器。
第 55 页|张量化挑战#
TVM 原始幻灯片第 55 页:张量化挑战 · 点击放大查看
页面只显示计算原语(Compute primitives),开始从标量到向量、张量的逐级抽象。
第 56 页|张量化挑战:标量#
TVM 原始幻灯片第 56 页:张量化挑战:标量 · 点击放大查看
新增计算原语:标量(scalar)。
第 57 页|张量化挑战:向量#
TVM 原始幻灯片第 57 页:张量化挑战:向量 · 点击放大查看
新增计算原语:向量(vector),形成“标量 + 向量”的层次。
第 58 页|张量化挑战:张量#
TVM 原始幻灯片第 58 页:张量化挑战:张量 · 点击放大查看
新增计算原语:张量(tensor),形成“标量 + 向量 + 张量”的层次。
第 59 页|张量化挑战:声明张量指令接口#
TVM 原始幻灯片第 59 页:张量化挑战:声明张量指令接口 · 点击放大查看
硬件设计者使用张量表达式声明张量指令的行为与降低规则。
w, x = t.placeholder((8, 8)), t.placeholder((8, 8))
k = t.reduce_axis((0, 8)) # 声明归约轴
y = t.compute((8, 8), lambda i, j:
t.sum(w[i, k] * x[j, k], axis=k))
def gemm_intrin_lower(inputs, outputs):
ww_ptr = inputs[0].access_ptr("r")
xx_ptr = inputs[1].access_ptr("r")
zz_ptr = outputs[0].access_ptr("w")
compute = t.hardware_intrin("gemm8x8", ww_ptr, xx_ptr, zz_ptr)
reset = t.hardware_intrin("fill_zero", zz_ptr)
update = t.hardware_intrin("fuse_gemm8x8_add", ww_ptr, xx_ptr, zz_ptr)
return compute, reset, update
gemm8x8 = t.decl_tensor_intrin(y.op, gemm_intrin_lower)
右侧说明:硬件设计者声明张量指令接口;降低规则生成用于执行计算的硬件内建指令。
第 60 页|张量化挑战:将程序转换为张量指令#
TVM 原始幻灯片第 60 页:张量化挑战:将程序转换为张量指令 · 点击放大查看
在第 59 页接口之上,张量化(Tensorize)把程序转换为使用张量指令的实现。
# 计算行为
w, x = t.placeholder((8, 8)), t.placeholder((8, 8))
k = t.reduce_axis((0, 8))
y = t.compute((8, 8), lambda i, j:
t.sum(w[i, k] * x[j, k], axis=k))
# 硬件内建:清零、计算、融合累加
compute = t.hardware_intrin("gemm8x8", ww_ptr, xx_ptr, zz_ptr)
reset = t.hardware_intrin("fill_zero", zz_ptr)
update = t.hardware_intrin("fuse_gemm8x8_add", ww_ptr, xx_ptr, zz_ptr)
图示从标量直接跳到张量,表示调度器可以把一段标量循环整体替换成张量指令。
第 61 页|面向硬件的搜索空间:类似 TPU 的专用加速器#
TVM 原始幻灯片第 61 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看
回到类似 TPU 的加速器抽象:张量计算、FIFO、统一缓冲区、累加器,以及显式内存管理。
第 62 页|面向硬件的搜索空间:类似 TPU 的专用加速器#
TVM 原始幻灯片第 62 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看
动画构建页,继续显示专用加速器的计算/内存层次。
第 63 页|软件支持隐藏延迟:无任务流水线#
TVM 原始幻灯片第 63 页:软件支持隐藏延迟:无任务流水线 · 点击放大查看
单模块、无任务流水线(Single Module / No Task-Pipelining):
时间线依次执行:加载输入 → 加载权重 → 矩阵乘 → 写回输出,然后重复下一模块。由于加载、计算、存储串行,内存延迟暴露在关键路径上。
第 64 页|软件支持隐藏延迟:任务级流水线#
TVM 原始幻灯片第 64 页:软件支持隐藏延迟:任务级流水线 · 点击放大查看
多模块、任务级流水线(Multiple-Module / Task-Level Pipelining):
多个模块交错执行:先并行加载模块 1/2 的输入和权重,再让矩阵乘阶段与下一组加载重叠,最后分别存储输出。这样可用计算工作覆盖内存访问延迟。
第 65 页|软件支持隐藏延迟:显式依赖跟踪#
TVM 原始幻灯片第 65 页:软件支持隐藏延迟:显式依赖跟踪 · 点击放大查看
任务级流水线的依赖关系由软件显式跟踪(Explicit dependency tracking managed by software),从而隐藏内存延迟。
第 66 页|面向硬件的搜索空间:张量表达式语言#
TVM 原始幻灯片第 66 页:面向硬件的搜索空间:张量表达式语言 · 点击放大查看
再次给出张量表达式规格:
C = tvm.compute((m, n),
lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))
表达式本身保持与硬件无关。
第 67 页|面向硬件的搜索空间:既有原语#
TVM 原始幻灯片第 67 页:面向硬件的搜索空间:既有原语 · 点击放大查看
先前工作(Halide、Loopy)中的原语包括:
- 循环变换(Loop Transformations);
- 线程绑定(Thread Bindings);
- 缓存局部性(Cache Locality)。
第 68 页|面向硬件的搜索空间:新增 GPU/加速器原语#
TVM 原始幻灯片第 68 页:面向硬件的搜索空间:新增 GPU/加速器原语 · 点击放大查看
为 GPU 和类似 TPU 的加速器加入新原语:
- 线程协作(Thread Cooperation);
- 张量化(Tensorization);
- 延迟隐藏(Latency Hiding);
- 以及更多原语(…)。
第 69 页|面向硬件的搜索空间:调度原语集合#
TVM 原始幻灯片第 69 页:面向硬件的搜索空间:调度原语集合 · 点击放大查看
完整调度原语集合包括循环变换、线程绑定、缓存局部性、线程协作、张量化和延迟隐藏。
第 70 页|面向硬件的搜索空间:调度原语集合#
TVM 原始幻灯片第 70 页:面向硬件的搜索空间:调度原语集合 · 点击放大查看
动画构建页:继续呈现同一组调度原语与硬件的连接。
第 71 页|面向硬件的搜索空间:数十亿优化选择#
TVM 原始幻灯片第 71 页:面向硬件的搜索空间:数十亿优化选择 · 点击放大查看
这些组合带来数十亿种可能的优化选择(Billions of possible optimization choices),人工搜索无法扩展,因此需要学习型程序优化器。
第 72 页|基于学习的学习系统#
TVM 原始幻灯片第 72 页:基于学习的学习系统 · 点击放大查看
完整系统由四层构成:框架中的高层数据流图与优化、面向硬件的优化张量程序搜索空间、机器学习程序优化器,以及硬件。
第 73 页|基于学习的学习系统#
TVM 原始幻灯片第 73 页:基于学习的学习系统 · 点击放大查看
动画构建页,重复显示完整四层系统。
第 74 页|基于学习的程序优化器#
TVM 原始幻灯片第 74 页:基于学习的程序优化器 · 点击放大查看
章节标题:基于学习的程序优化器(Learning-based Program Optimizer)。
第 75 页|基于学习的程序优化器:程序生成#
TVM 原始幻灯片第 75 页:基于学习的程序优化器:程序生成 · 点击放大查看
优化器接收候选程序(Program),通过代码生成器(Code Generator)产生可执行代码。
第 76 页|基于学习的程序优化器:运行时测量#
TVM 原始幻灯片第 76 页:基于学习的程序优化器:运行时测量 · 点击放大查看
代码在目标硬件上运行,并收集运行时测量结果(Runtime Measurements),反馈给优化器。
第 77 页|基于学习的程序优化器:试验成本#
TVM 原始幻灯片第 77 页:基于学习的程序优化器:试验成本 · 点击放大查看
每轮试验都要生成代码并在硬件上运行。页面指出试验成本很高:每次试验约需 1 秒(each trial costs ~1 second)。
第 78 页|基于学习的程序优化器:代价模型#
TVM 原始幻灯片第 78 页:基于学习的程序优化器:代价模型 · 点击放大查看
为减少真实运行次数,引入代价模型(Cost Model)。
第 79 页|基于学习的程序优化器:代价模型#
TVM 原始幻灯片第 79 页:基于学习的程序优化器:代价模型 · 点击放大查看
代价模型用于预测候选程序性能,再由优化器选择下一组搜索点。
第 80 页|基于学习的程序优化器:硬件相关代价模型#
TVM 原始幻灯片第 80 页:基于学习的程序优化器:硬件相关代价模型 · 点击放大查看
页面强调:需要针对每种硬件拥有可靠的代价模型(Need reliable cost model per hardware)。
第 81 页|基于学习的程序优化器:学习闭环#
TVM 原始幻灯片第 81 页:基于学习的程序优化器:学习闭环 · 点击放大查看
动画构建页:程序优化器、代码生成器、运行时测量和代价模型形成闭环。
第 82 页|基于学习的程序优化器:训练数据#
TVM 原始幻灯片第 82 页:基于学习的程序优化器:训练数据 · 点击放大查看
从程序在硬件上的测量结果获得训练数据(Training data),用于拟合统计代价模型。图中 D 表示收集的数据集。
第 83 页|基于学习的程序优化器:统计代价模型#
TVM 原始幻灯片第 83 页:基于学习的程序优化器:统计代价模型 · 点击放大查看
加入学习(Learning)与统计代价模型(Statistical Cost Model):用训练数据拟合程序特征到运行时间/代价的预测函数。
第 84 页|基于学习的程序优化器:适配不同硬件#
TVM 原始幻灯片第 84 页:基于学习的程序优化器:适配不同硬件 · 点击放大查看
统计代价模型通过学习适配硬件类型(Adapt to hardware type by learning),并可在约 1 ms 量级(Make prediction in 1ms level)完成预测,远快于实际运行一次程序。
第 85 页|机器学习模型的有效性#
TVM 原始幻灯片第 85 页:机器学习模型的有效性 · 点击放大查看
图表逐步绘制中,纵轴范围约为 0.00–1.50,横轴为试验次数(0–800)。
第 86 页|机器学习模型的有效性#
TVM 原始幻灯片第 86 页:机器学习模型的有效性 · 点击放大查看
实验对象标注为:Titan X 上 ResNet18 的一个 Conv2D 层(One Conv2D Layer of ResNet18 on Titan X)。
第 87 页|机器学习模型的有效性#
TVM 原始幻灯片第 87 页:机器学习模型的有效性 · 点击放大查看
横轴明确为试验次数(Number of Trials),纵轴为相对性能/加速比。
第 88 页|机器学习模型的有效性:cuDNN 基线#
TVM 原始幻灯片第 88 页:机器学习模型的有效性:cuDNN 基线 · 点击放大查看
纵轴为相对加速比(Relative Speedup);图例加入 基线:cuDNN(Baseline: CuDNN)。实验仍是 Titan X 上 ResNet18 的一个 Conv2D 层。
第 89 页|机器学习模型的有效性:随机搜索#
TVM 原始幻灯片第 89 页:机器学习模型的有效性:随机搜索 · 点击放大查看
图例加入 TVM:随机搜索(TVM: Random Search),与 cuDNN 基线比较。随机搜索需要较多试验才能找到高性能程序。
第 90 页|机器学习模型的有效性:基于机器学习的模型#
TVM 原始幻灯片第 90 页:机器学习模型的有效性:基于机器学习的模型 · 点击放大查看
图例加入 TVM:基于机器学习的模型(TVM: ML-based Model)。学习型代价模型比随机搜索更快接近高性能区域,并超过 cuDNN 基线。
第 91 页|基于学习的学习系统#
TVM 原始幻灯片第 91 页:基于学习的学习系统 · 点击放大查看
完整方案总结:
- 高层数据流图和优化;
- 面向硬件的优化张量程序搜索空间;
- 基于机器学习的程序优化器;
- 目标硬件。
第 92 页|端到端推理性能:NVIDIA Titan X#
TVM 原始幻灯片第 92 页:端到端推理性能:NVIDIA Titan X · 点击放大查看
在 NVIDIA Titan X 上比较 TensorFlow、Apache MXNet 和 TensorFlow-XLA。
图表:纵轴为时间(ms);模型横轴包括 ResNet-18、MobileNet、LSTM LM、DQN、DCGAN。
第 93 页|端到端推理性能:cuDNN 支持#
TVM 原始幻灯片第 93 页:端到端推理性能:cuDNN 支持 · 点击放大查看
新增说明:各框架由 cuDNN 支持(Backed by cuDNN)。图表比较 TensorFlow、Apache MXNet 与 TensorFlow-XLA 的端到端推理时间。
第 94 页|端到端推理性能:TVM(无图优化)#
TVM 原始幻灯片第 94 页:端到端推理性能:TVM(无图优化) · 点击放大查看
加入 TVM:无图优化(TVM: without graph optimizations),用于区分算子级优化与整图优化的贡献。
第 95 页|端到端推理性能:TVM 全部优化#
TVM 原始幻灯片第 95 页:端到端推理性能:TVM 全部优化 · 点击放大查看
加入 TVM:全部优化(TVM: all optimizations),即同时使用算子调优和图级优化。
第 96 页|端到端推理性能:标准模型#
TVM 原始幻灯片第 96 页:端到端推理性能:标准模型 · 点击放大查看
标注结论:在标准模型(standard models)上,TVM 具有竞争力(Competitive on standard models)。
第 97 页|端到端推理性能:非传统模型#
TVM 原始幻灯片第 97 页:端到端推理性能:非传统模型 · 点击放大查看
补充结论:在不太传统的模型(less conventional models)上,TVM 与现有方案之间的性能差距更大(Bigger gap)。
第 98 页|端到端性能:ARM Cortex-A53#
TVM 原始幻灯片第 98 页:端到端性能:ARM Cortex-A53 · 点击放大查看
在 ARM Cortex-A53 上比较 TensorFlow Lite、TVM(无图优化)和 TVM。
- 模型:ResNet-18、MobileNet、DQN;
- 纵轴:时间(ms),不同模型使用不同刻度;
- 目标是嵌入式 ARM 平台的端到端性能。
第 99 页|端到端性能:ARM Cortex-A53#
TVM 原始幻灯片第 99 页:端到端性能:ARM Cortex-A53 · 点击放大查看
图中注明 TensorFlow Lite 专门针对嵌入式 ARM 系统优化(Specially optimized for Embedded system (ARM)),并与 TVM 的无图优化/全部优化版本比较。
第 100 页|端到端性能:ARM GPU#
TVM 原始幻灯片第 100 页:端到端性能:ARM GPU · 点击放大查看
在 ARM GPU 上比较 ARMComputeLib、TVM(无图优化)和 TVM。
- 模型:ResNet-18、MobileNet、DQN;
- 数据类型:float32 与 float16;
- 纵轴:时间(ms)。
第 101 页|支持新的专用加速器#
TVM 原始幻灯片第 101 页:支持新的专用加速器 · 点击放大查看
在框架、高层图优化、面向硬件的张量程序搜索空间和机器学习优化器之下,可通过 LLVM 与 CUDA 连接不同后端。
第 102 页|支持新的专用加速器:VTA#
TVM 原始幻灯片第 102 页:支持新的专用加速器:VTA · 点击放大查看
新增 VTA:开放且可定制的深度学习加速器(Open, Customizable Deep Learning Accelerator)。目标硬件包括边缘 FPGA(Edge FPGA)、数据中心 FPGA(Data Center FPGA)和 ASIC。
第 103 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 103 页:TVM/VTA:全栈开源系统 · 点击放大查看
系统栈的顶层:
- 高层优化(High-level Optimizations);
- 张量程序搜索空间(Tensor Program Search Space);
- 基于机器学习的优化器(ML-based Optimizer)。
第 104 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 104 页:TVM/VTA:全栈开源系统 · 点击放大查看
在上述软件栈下加入 VTA 微架构(VTA MicroArchitecture)。
第 105 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 105 页:TVM/VTA:全栈开源系统 · 点击放大查看
继续加入 VTA 硬件/软件接口(ISA),连接编译器生成的程序与微架构。
第 106 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 106 页:TVM/VTA:全栈开源系统 · 点击放大查看
加入 VTA 运行时与 JIT 编译器(VTA Runtime & JIT Compiler),负责运行时装载和即时编译。
第 107 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 107 页:TVM/VTA:全栈开源系统 · 点击放大查看
加入 VTA 模拟器(VTA Simulator),可在没有真实硬件时验证指令和编译流程。
第 108 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 108 页:TVM/VTA:全栈开源系统 · 点击放大查看
页面列出系统目标:
- JIT 编译加速器微代码(JIT compile accelerator micro code);
- 支持异构设备,在同一开发板上比 CPU 快 10 倍(Support heterogeneous devices, 10x better than CPU on the same board);
- 将硬件复杂性转移到软件(Move hardware complexity to software)。
第 109 页|TVM/VTA:全栈开源系统#
TVM 原始幻灯片第 109 页:TVM/VTA:全栈开源系统 · 点击放大查看
完整结论:把硬件复杂性转移到软件、编译器、驱动和硬件设计;形成全栈开源(full stack open source)系统。
- JIT 编译加速器微代码;
- 支持异构设备,在同一开发板上达到 CPU 的 10 倍性能;
- 开放 VTA 模拟器、ISA、微架构、运行时和 JIT 编译器。
第 110 页|TVM:基于学习的学习系统#
TVM 原始幻灯片第 110 页:TVM:基于学习的学习系统 · 点击放大查看
总结架构:
- 高层优化;
- 张量程序搜索空间;
- 基于机器学习的优化器;
- LLVM、CUDA、VTA 后端。
页面号召:欢迎体验(Check it out!)。