跳到主要内容
← CMU 15-779 学习专题

CMU 15-779 / 课程资料

TVM:面向深度学习的自动化端到端优化编译器

TVM OSDI 2018 幻灯片中文译稿。

阅读目录

TVM:面向深度学习的自动化端到端优化编译器

OSDI 2018 幻灯片中文翻译#

  • 来源文件: osdi18_slides_chen.pdf
  • 页数: 110 页
  • 说明: 本译稿按 PDF 页码逐页对应。Keynote 动画导出会把一张幻灯片拆成多个页面;对于仅新增少量元素的构建页,译文明确写出新增内容,同时保留该页可见的全部标签、公式、代码和图表说明。
  • 术语约定: TVM、VTA、CUDA、LLVM、cuDNN、Halide、Loopy、GEMM、JIT 等专有名词保留英文;首次出现时给出中文释义。
  • 图表说明: 源 PDF 中的柱线、流程框和加速器示意图属于绘图对象,译稿翻译其可提取文字并描述含义;具体柱高和布局请结合原 PDF 对照。

第 1 页|TVM:面向深度学习的自动化端到端优化编译器#

TVM 原始幻灯片第 1 页:TVM:面向深度学习的自动化端到端优化编译器 · 点击放大查看

作者: Tianqi Chen、Thierry Moreau、Ziheng Jiang、Lianmin Zheng、Eddie Yan、Meghan Cowan、Haichen Shen、Leyuan Wang、Yuwei Hu、Luis Ceze、Carlos Guestrin、Arvind Krishnamurthy。

本页是 OSDI 2018 报告的标题页。

第 2 页|合作人员#

TVM 原始幻灯片第 2 页:合作人员 · 点击放大查看

合作实验室:SAMPL Lab(https://sampl.cs.washington.edu)。

第 3 页|故事的开端#

TVM 原始幻灯片第 3 页:故事的开端 · 点击放大查看

本页仅显示章节标题“故事的开端”,引出专用深度学习加速器与编译器之间的关系。

第 4 页|故事的开端:加速器#

TVM 原始幻灯片第 4 页:故事的开端:加速器 · 点击放大查看

页面中央标出“加速器(Accelerator)”,表示从专用硬件的演进开始叙述。

第 5 页|故事的开端:加速器#

TVM 原始幻灯片第 5 页:故事的开端:加速器 · 点击放大查看

动画构建页,继续突出“加速器(Accelerator)”这一主题。

第 6 页|故事的开端:VIA 加速器微代码#

TVM 原始幻灯片第 6 页:故事的开端:VIA 加速器微代码 · 点击放大查看

本页展示 VIA 加速器的多线程分块卷积微代码,以及最大池化、批归一化和激活函数的访问模式。寄存器索引由二维仿射函数计算。

(a) 多线程上下文的分块卷积程序(伪代码)

text
// 虚拟线程 0
0x00: LOAD(PARAM[ 0-71])          // LD@TID0
0x01: LOAD(ACTIV[ 0-24])          // LD@TID0
0x02: LOAD(LDBUF[ 0-31])           // LD@TID0
0x03: PUSH(LD->EX)                 // LD@TID0
0x04: POP (LD->EX)                 // EX@TID0
0x05: EXE (ACTIV[0-24], PARAM[0-71], LDBUF[0-31], STBUF[0-7]) // EX@TID0
0x06: PUSH(EX->LD)                 // EX@TID0
0x07: PUSH(EX->ST)                 // EX@TID0
0x08: POP (EX->ST)                  // ST@TID0
0x09: STOR(STBUF[0-7])              // ST@TID0
0x0A: PUSH(ST->EX)                  // ST@TID0

// 虚拟线程 1
0x0B: LOAD(ACTIV[25-50])            // LD@TID1
0x0C: LOAD(LDBUF[32-63])            // LD@TID1
0x0D: PUSH(LD->EX)                  // LD@TID1
0x0E: POP (LD->EX)                  // EX@TID1
0x0F: EXE (ACTIV[25-50], PARAM[0-71], LDBUF[32-63], STBUF[32-39]) // EX@TID1
0x10: PUSH(EX->LD)                  // EX@TID1
0x11: PUSH(EX->ST)                  // EX@TID1
0x12: POP (EX->ST)                  // ST@TID1
0x13: STOR(STBUF[32-39])             // ST@TID1
0x14: PUSH(ST->EX)                  // ST@TID1

// 虚拟线程 2
0x15: POP (EX->LD)                  // LD@TID2
0x16: LOAD(PARAM[0-71])              // LD@TID2
0x17: LOAD(ACTIV[0-24])              // LD@TID2
0x18: LOAD(LDBUF[0-31])              // LD@TID2
0x19: PUSH(LD->EX)                  // LD@TID2
0x1A: POP (LD->EX)                  // EX@TID2
0x1B: POP (ST->EX)                  // EX@TID2
0x1C: EXE (ACTIV[0-24], PARAM[0-71], LDBUF[0-31], STBUF[0-7]) // EX@TID2
0x1D: PUSH(EX->ST)                  // EX@TID2
0x1E: POP (EX->ST)                  // ST@TID2
0x1F: STOR(STBUF[0-7])               // ST@TID2

// 虚拟线程 3
0x20: POP (EX->LD)                  // LD@TID3
0x21: LOAD(ACTIV[25-50])             // LD@TID3
0x22: LOAD(LDBUF[32-63])             // LD@TID3
0x23: PUSH(LD->EX)                   // LD@TID3
0x24: POP (LD->EX)                   // EX@TID3
0x25: POP (ST->EX)                   // EX@TID2
0x26: EXE (ACTIV[25-50], PARAM[0-71], LDBUF[32-63], STBUF[32-39]) // EX@TID3
0x27: PUSH(EX->ST)                   // EX@TID3
0x28: POP (EX->ST)                   // ST@TID3
0x29: STOR(STBUF[32-39])             // ST@TID3

(b) 卷积访问模式: 对 y∈[0,i)y \in [0,i)、x∈[0,j)x \in [0,j),例如 idxrf = a_rf*y + b_rf*x + c_rf0;其中 c_rf0 由微操作字段给出,并执行 rf[idxrf] += GEVM(act[idxact], par[idxpar])。

(c) 最大池化、批归一化和激活:

text
// 最大池化
rf[idxdst0] = MAX(rf[idxdst0], rf[idxsrc0])
rf[idxdst1] = MAX(rf[idxdst1], rf[idxsrc1])

// 批归一化(示意)
rf[idxdstm]   = MUL(rf[idxdstm],   rf[idxsrcm])
rf[idxdstm+1] = ADD(rf[idxdstm+1], rf[idxsrcm+1])
rf[idxdstm+2] = MUL(rf[idxdstm+2], rf[idxsrcm+2])
rf[idxdstm+3] = ADD(rf[idxdstm+3], rf[idxsrcm+3])

// 激活
rf[idxdstn-1] = RELU(rf[idxdstn-1], rf[idxsrcn-1])
rf[idxdstn]   = RELU(rf[idxdstn],   rf[idxsrcn])

第 7 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 7 页:目标:让深度学习无处不在 · 点击放大查看

框架(Frameworks)。本页开始讨论将深度学习部署到各种设备的目标。

第 8 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 8 页:目标:让深度学习无处不在 · 点击放大查看

模型和框架的爆炸式增长(Explosion of models and frameworks)。 随着网络结构和软件框架不断增加,手工适配成本迅速上升。

第 9 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 9 页:目标:让深度学习无处不在 · 点击放大查看

在模型/框架爆炸之外,又出现了硬件后端的爆炸式增长(Explosion of hardware backends)。

第 10 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 10 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 11 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 11 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 12 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 12 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 13 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 13 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 14 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 14 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 15 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 15 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 16 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 16 页:目标:让深度学习无处不在 · 点击放大查看

动画构建页:继续显示“模型和框架的爆炸式增长”与“硬件后端的爆炸式增长”。图中逐步增加不同后端/加速器,强调组合数量持续增长。

第 17 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 17 页:目标:让深度学习无处不在 · 点击放大查看

页面同时列出:

  • 模型和框架的爆炸式增长;
  • 硬件后端的爆炸式增长;
  • 加速器(Accelerator)。

第 18 页|目标:让深度学习无处不在#

TVM 原始幻灯片第 18 页:目标:让深度学习无处不在 · 点击放大查看

页面明确指出:模型/框架与硬件后端之间存在巨大鸿沟(Huge gap between model/frameworks and hardware backends)。

第 19 页|现有方法#

TVM 原始幻灯片第 19 页:现有方法 · 点击放大查看

框架(Frameworks)与硬件(Hardware)之间需要衔接。

第 20 页|现有方法:高层数据流图#

TVM 原始幻灯片第 20 页:现有方法:高层数据流图 · 点击放大查看

框架生成高层数据流图(High-level data flow graph),再交给硬件侧执行。

第 21 页|现有方法:原语张量算子#

TVM 原始幻灯片第 21 页:现有方法:原语张量算子 · 点击放大查看

高层图由诸如 Conv2D 的原语张量算子(Primitive Tensor operators)组成。

第 22 页|现有方法:调用优化算子库#

TVM 原始幻灯片第 22 页:现有方法:调用优化算子库 · 点击放大查看

示例:cuDNN。将算子卸载(offload)到高度优化的 DNN 算子库。

这种方法依赖为每个硬件平台预先手工实现和调优算子。

第 23 页|现有方法:工程化优化张量算子#

TVM 原始幻灯片第 23 页:现有方法:工程化优化张量算子 · 点击放大查看

章节标题:通过工程手段为张量算子编写优化实现。

第 24 页|现有方法:工程化优化张量算子#

TVM 原始幻灯片第 24 页:现有方法:工程化优化张量算子 · 点击放大查看

动画构建页,继续展示“工程化优化张量算子”的流程。

第 25 页|矩阵乘:算子规格#

TVM 原始幻灯片第 25 页:矩阵乘:算子规格 · 点击放大查看

Matmul:算子规格(Operator Specification)。

python
C = tvm.compute((m, n),
    lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))

该声明描述输出张量 C[y,x] 沿归约轴 k 对 A[k,y] 与 B[k,x] 求和。

第 26 页|矩阵乘:算子规格#

TVM 原始幻灯片第 26 页:矩阵乘:算子规格 · 点击放大查看

动画构建页:重复显示矩阵乘规格,强调规格与具体实现策略相互独立。

python
C = tvm.compute((m, n),
    lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))

第 27 页|矩阵乘:朴素代码#

TVM 原始幻灯片第 27 页:矩阵乘:朴素代码 · 点击放大查看

朴素实现(Vanilla Code):

python
for y in range(1024):
  for x in range(1024):
    C[y][x] = 0
    for k in range(1024):
      C[y][x] += A[k][y] * B[k][x]

这是规格的直接三重循环实现,没有利用局部性或专用硬件。

第 28 页|矩阵乘:循环分块提升局部性#

TVM 原始幻灯片第 28 页:矩阵乘:循环分块提升局部性 · 点击放大查看

循环分块(Loop Tiling for Locality):

python
for yo in range(128):
  for xo in range(128):
    C[yo*8:yo*8+8][xo*8:xo*8+8] = 0
    for ko in range(128):
      for yi in range(8):
        for xi in range(8):
          for ki in range(8):
            C[yo*8+yi][xo*8+xi] += \
              A[ko*8+ki][yo*8+yi] * B[ko*8+ki][xo*8+xi]

把 1024×1024 的循环切成 8×8 tile,使数据可在缓存/片上存储中复用。

第 29 页|矩阵乘:映射到加速器#

TVM 原始幻灯片第 29 页:矩阵乘:映射到加速器 · 点击放大查看

映射到加速器(Map to Accelerators):

python
inp_buffer AL[8][8], BL[8][8]
acc_buffer CL[8][8]
for yo in range(128):
  for xo in range(128):
    vdla.fill_zero(CL)
    for ko in range(128):
      vdla.dma_copy2d(AL, A[ko*8:ko*8+8][yo*8:yo*8+8])
      vdla.dma_copy2d(BL, B[ko*8:ko*8+8][xo*8:xo*8+8])
      vdla.fused_gemm8x8_add(CL, AL, BL)
    vdla.dma_copy2d(C[yo*8:yo*8+8, xo*8:xo*8+8], CL)

这里使用 DMA 复制、8×8 融合 GEMM 和累加缓冲区。页脚指出:优化代码需要人工探索(Human exploration of optimized code)。

第 30 页|现有方法的局限#

TVM 原始幻灯片第 30 页:现有方法的局限 · 点击放大查看

框架侧调用 cuDNN 等库。页面开始展示现有方法的问题。

第 31 页|现有方法的局限#

TVM 原始幻灯片第 31 页:现有方法的局限 · 点击放大查看

动画构建页(第 31 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。

第 32 页|现有方法的局限#

TVM 原始幻灯片第 32 页:现有方法的局限 · 点击放大查看

动画构建页(第 32 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。

第 33 页|现有方法的局限#

TVM 原始幻灯片第 33 页:现有方法的局限 · 点击放大查看

动画构建页(第 33 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。

第 34 页|现有方法的局限#

TVM 原始幻灯片第 34 页:现有方法的局限 · 点击放大查看

动画构建页(第 34 页):继续显示框架到 cuDNN 的调用路径,说明现有方案依赖预先工程化的库算子。

第 35 页|现有方法的局限#

TVM 原始幻灯片第 35 页:现有方法的局限 · 点击放大查看

新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。

第 36 页|现有方法的局限#

TVM 原始幻灯片第 36 页:现有方法的局限 · 点击放大查看

新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。

第 37 页|现有方法的局限#

TVM 原始幻灯片第 37 页:现有方法的局限 · 点击放大查看

新增说明:算子融合优化引入了新算子(New operator introduced by operator fusion optimization),理论上可能带来 1.5 倍加速(potentially benefit: 1.5x speedup)。

第 38 页|现有方法的局限#

TVM 原始幻灯片第 38 页:现有方法的局限 · 点击放大查看

算子融合可能获得 1.5 倍加速,但页面强调:工程工作量很大(Engineering intensive)。每种模型、形状、硬件组合都可能需要新的手工实现。

第 39 页|基于学习的学习系统#

TVM 原始幻灯片第 39 页:基于学习的学习系统 · 点击放大查看

框架提供高层数据流图和优化(High-level data flow graph and optimizations),硬件执行优化后的程序。

第 40 页|基于学习的学习系统#

TVM 原始幻灯片第 40 页:基于学习的学习系统 · 点击放大查看

动画构建页:继续显示高层图优化与硬件之间的连接。

第 41 页|基于学习的学习系统#

TVM 原始幻灯片第 41 页:基于学习的学习系统 · 点击放大查看

加入面向硬件的优化张量程序搜索空间(Hardware-aware Search Space of Optimized Tensor Programs)。

第 42 页|基于学习的学习系统#

TVM 原始幻灯片第 42 页:基于学习的学习系统 · 点击放大查看

加入基于机器学习的程序优化器(Machine Learning based Program Optimizer)。

第 43 页|基于学习的学习系统#

TVM 原始幻灯片第 43 页:基于学习的学习系统 · 点击放大查看

学习型优化器可以针对新的算子工作负载和新硬件,直接生成优化程序(directly generate optimized program for new operator workloads and hardware)。

第 44 页|基于学习的学习系统#

TVM 原始幻灯片第 44 页:基于学习的学习系统 · 点击放大查看

动画构建页:完整流程为“框架 → 高层数据流图与优化 → 面向硬件的搜索空间 → 机器学习程序优化器 → 硬件”。

第 45 页|基于学习的学习系统#

TVM 原始幻灯片第 45 页:基于学习的学习系统 · 点击放大查看

与第 44 页相同的完整流程,作为章节过渡页。

第 46 页|面向硬件的搜索空间:张量表达式语言#

TVM 原始幻灯片第 46 页:面向硬件的搜索空间:张量表达式语言 · 点击放大查看

张量表达式语言(Tensor Expression Language,规格层)描述矩阵乘:

python
C = tvm.compute((m, n),
    lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))

下方连接到硬件,表示表达式最终要映射到具体硬件程序。

第 47 页|面向硬件的搜索空间:从表达式到硬件#

TVM 原始幻灯片第 47 页:面向硬件的搜索空间:从表达式到硬件 · 点击放大查看

定义从表达式到硬件程序的面向硬件映射搜索空间。设计基于 Halide 的“计算/调度分离”(compute/schedule separation):计算定义语义,调度选择实现方式。

第 48 页|面向硬件的搜索空间:CPU#

TVM 原始幻灯片第 48 页:面向硬件的搜索空间:CPU · 点击放大查看

CPU 的计算原语与内存层次:

  • 计算原语:标量(scalar)、向量(vector);
  • 内存子系统:L1D、L1I、L2、L3,通常由硬件隐式管理(implicitly managed);
  • 调度原语:循环变换(Loop Transformations)、缓存局部性(Cache Locality)、向量化(Vectorization)。

这些原语复用了 Halide、Loopy 等先前工作的思想。

第 49 页|支持多样硬件后端的挑战#

TVM 原始幻灯片第 49 页:支持多样硬件后端的挑战 · 点击放大查看

需要同时支持 CPU、GPU 和类似 TPU 的专用加速器。三类设备的计算原语、内存层次和管理方式差异很大。

第 50 页|面向硬件的搜索空间:GPU#

TVM 原始幻灯片第 50 页:面向硬件的搜索空间:GPU · 点击放大查看

GPU 的计算原语与内存层次:

  • 设备级 L2;
  • 多个 SM(流式多处理器);
  • TX/L1(纹理/一级缓存);
  • RF(寄存器文件);
  • 计算同时包含标量、向量和混合模式;
  • 片上资源在一定程度上由程序显式管理。

第 51 页|面向硬件的搜索空间:GPU#

TVM 原始幻灯片第 51 页:面向硬件的搜索空间:GPU · 点击放大查看

新增标注:计算核心之间可共享共享内存(Shared memory among compute cores)。

第 52 页|面向硬件的搜索空间:GPU#

TVM 原始幻灯片第 52 页:面向硬件的搜索空间:GPU · 点击放大查看

新增调度原语:使用共享内存(Use of Shared Memory)和线程协作(Thread Cooperation),以实现片上数据复用和协同计算。

第 53 页|面向硬件的搜索空间:类似 TPU 的专用加速器#

TVM 原始幻灯片第 53 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看

类似 TPU 的专用加速器:

  • 计算原语是张量(tensor);
  • 内存子系统包含 FIFO、统一缓冲区(Unified Buffer)和累加器(Acc);
  • 内存由软件显式管理(explicitly managed)。

第 54 页|面向硬件的搜索空间:类似 TPU 的专用加速器#

TVM 原始幻灯片第 54 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看

与第 53 页相同的硬件抽象,强调专用加速器的 FIFO、统一缓冲区和累加器。

第 55 页|张量化挑战#

TVM 原始幻灯片第 55 页:张量化挑战 · 点击放大查看

页面只显示计算原语(Compute primitives),开始从标量到向量、张量的逐级抽象。

第 56 页|张量化挑战:标量#

TVM 原始幻灯片第 56 页:张量化挑战:标量 · 点击放大查看

新增计算原语:标量(scalar)。

第 57 页|张量化挑战:向量#

TVM 原始幻灯片第 57 页:张量化挑战:向量 · 点击放大查看

新增计算原语:向量(vector),形成“标量 + 向量”的层次。

第 58 页|张量化挑战:张量#

TVM 原始幻灯片第 58 页:张量化挑战:张量 · 点击放大查看

新增计算原语:张量(tensor),形成“标量 + 向量 + 张量”的层次。

第 59 页|张量化挑战:声明张量指令接口#

TVM 原始幻灯片第 59 页:张量化挑战:声明张量指令接口 · 点击放大查看

硬件设计者使用张量表达式声明张量指令的行为与降低规则。

python
w, x = t.placeholder((8, 8)), t.placeholder((8, 8))
k = t.reduce_axis((0, 8))                 # 声明归约轴
y = t.compute((8, 8), lambda i, j:
               t.sum(w[i, k] * x[j, k], axis=k))

def gemm_intrin_lower(inputs, outputs):
    ww_ptr = inputs[0].access_ptr("r")
    xx_ptr = inputs[1].access_ptr("r")
    zz_ptr = outputs[0].access_ptr("w")
    compute = t.hardware_intrin("gemm8x8", ww_ptr, xx_ptr, zz_ptr)
    reset = t.hardware_intrin("fill_zero", zz_ptr)
    update = t.hardware_intrin("fuse_gemm8x8_add", ww_ptr, xx_ptr, zz_ptr)
    return compute, reset, update

gemm8x8 = t.decl_tensor_intrin(y.op, gemm_intrin_lower)

右侧说明:硬件设计者声明张量指令接口;降低规则生成用于执行计算的硬件内建指令。

第 60 页|张量化挑战:将程序转换为张量指令#

TVM 原始幻灯片第 60 页:张量化挑战:将程序转换为张量指令 · 点击放大查看

在第 59 页接口之上,张量化(Tensorize)把程序转换为使用张量指令的实现。

python
# 计算行为
w, x = t.placeholder((8, 8)), t.placeholder((8, 8))
k = t.reduce_axis((0, 8))
y = t.compute((8, 8), lambda i, j:
               t.sum(w[i, k] * x[j, k], axis=k))

# 硬件内建:清零、计算、融合累加
compute = t.hardware_intrin("gemm8x8", ww_ptr, xx_ptr, zz_ptr)
reset = t.hardware_intrin("fill_zero", zz_ptr)
update = t.hardware_intrin("fuse_gemm8x8_add", ww_ptr, xx_ptr, zz_ptr)

图示从标量直接跳到张量,表示调度器可以把一段标量循环整体替换成张量指令。

第 61 页|面向硬件的搜索空间:类似 TPU 的专用加速器#

TVM 原始幻灯片第 61 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看

回到类似 TPU 的加速器抽象:张量计算、FIFO、统一缓冲区、累加器,以及显式内存管理。

第 62 页|面向硬件的搜索空间:类似 TPU 的专用加速器#

TVM 原始幻灯片第 62 页:面向硬件的搜索空间:类似 TPU 的专用加速器 · 点击放大查看

动画构建页,继续显示专用加速器的计算/内存层次。

第 63 页|软件支持隐藏延迟:无任务流水线#

TVM 原始幻灯片第 63 页:软件支持隐藏延迟:无任务流水线 · 点击放大查看

单模块、无任务流水线(Single Module / No Task-Pipelining):

时间线依次执行:加载输入 → 加载权重 → 矩阵乘 → 写回输出,然后重复下一模块。由于加载、计算、存储串行,内存延迟暴露在关键路径上。

第 64 页|软件支持隐藏延迟:任务级流水线#

TVM 原始幻灯片第 64 页:软件支持隐藏延迟:任务级流水线 · 点击放大查看

多模块、任务级流水线(Multiple-Module / Task-Level Pipelining):

多个模块交错执行:先并行加载模块 1/2 的输入和权重,再让矩阵乘阶段与下一组加载重叠,最后分别存储输出。这样可用计算工作覆盖内存访问延迟。

第 65 页|软件支持隐藏延迟:显式依赖跟踪#

TVM 原始幻灯片第 65 页:软件支持隐藏延迟:显式依赖跟踪 · 点击放大查看

任务级流水线的依赖关系由软件显式跟踪(Explicit dependency tracking managed by software),从而隐藏内存延迟。

第 66 页|面向硬件的搜索空间:张量表达式语言#

TVM 原始幻灯片第 66 页:面向硬件的搜索空间:张量表达式语言 · 点击放大查看

再次给出张量表达式规格:

python
C = tvm.compute((m, n),
    lambda y, x: tvm.sum(A[k, y] * B[k, x], axis=k))

表达式本身保持与硬件无关。

第 67 页|面向硬件的搜索空间:既有原语#

TVM 原始幻灯片第 67 页:面向硬件的搜索空间:既有原语 · 点击放大查看

先前工作(Halide、Loopy)中的原语包括:

  • 循环变换(Loop Transformations);
  • 线程绑定(Thread Bindings);
  • 缓存局部性(Cache Locality)。

第 68 页|面向硬件的搜索空间:新增 GPU/加速器原语#

TVM 原始幻灯片第 68 页:面向硬件的搜索空间:新增 GPU/加速器原语 · 点击放大查看

为 GPU 和类似 TPU 的加速器加入新原语:

  • 线程协作(Thread Cooperation);
  • 张量化(Tensorization);
  • 延迟隐藏(Latency Hiding);
  • 以及更多原语(…)。

第 69 页|面向硬件的搜索空间:调度原语集合#

TVM 原始幻灯片第 69 页:面向硬件的搜索空间:调度原语集合 · 点击放大查看

完整调度原语集合包括循环变换、线程绑定、缓存局部性、线程协作、张量化和延迟隐藏。

第 70 页|面向硬件的搜索空间:调度原语集合#

TVM 原始幻灯片第 70 页:面向硬件的搜索空间:调度原语集合 · 点击放大查看

动画构建页:继续呈现同一组调度原语与硬件的连接。

第 71 页|面向硬件的搜索空间:数十亿优化选择#

TVM 原始幻灯片第 71 页:面向硬件的搜索空间:数十亿优化选择 · 点击放大查看

这些组合带来数十亿种可能的优化选择(Billions of possible optimization choices),人工搜索无法扩展,因此需要学习型程序优化器。

第 72 页|基于学习的学习系统#

TVM 原始幻灯片第 72 页:基于学习的学习系统 · 点击放大查看

完整系统由四层构成:框架中的高层数据流图与优化、面向硬件的优化张量程序搜索空间、机器学习程序优化器,以及硬件。

第 73 页|基于学习的学习系统#

TVM 原始幻灯片第 73 页:基于学习的学习系统 · 点击放大查看

动画构建页,重复显示完整四层系统。

第 74 页|基于学习的程序优化器#

TVM 原始幻灯片第 74 页:基于学习的程序优化器 · 点击放大查看

章节标题:基于学习的程序优化器(Learning-based Program Optimizer)。

第 75 页|基于学习的程序优化器:程序生成#

TVM 原始幻灯片第 75 页:基于学习的程序优化器:程序生成 · 点击放大查看

优化器接收候选程序(Program),通过代码生成器(Code Generator)产生可执行代码。

第 76 页|基于学习的程序优化器:运行时测量#

TVM 原始幻灯片第 76 页:基于学习的程序优化器:运行时测量 · 点击放大查看

代码在目标硬件上运行,并收集运行时测量结果(Runtime Measurements),反馈给优化器。

第 77 页|基于学习的程序优化器:试验成本#

TVM 原始幻灯片第 77 页:基于学习的程序优化器:试验成本 · 点击放大查看

每轮试验都要生成代码并在硬件上运行。页面指出试验成本很高:每次试验约需 1 秒(each trial costs ~1 second)。

第 78 页|基于学习的程序优化器:代价模型#

TVM 原始幻灯片第 78 页:基于学习的程序优化器:代价模型 · 点击放大查看

为减少真实运行次数,引入代价模型(Cost Model)。

第 79 页|基于学习的程序优化器:代价模型#

TVM 原始幻灯片第 79 页:基于学习的程序优化器:代价模型 · 点击放大查看

代价模型用于预测候选程序性能,再由优化器选择下一组搜索点。

第 80 页|基于学习的程序优化器:硬件相关代价模型#

TVM 原始幻灯片第 80 页:基于学习的程序优化器:硬件相关代价模型 · 点击放大查看

页面强调:需要针对每种硬件拥有可靠的代价模型(Need reliable cost model per hardware)。

第 81 页|基于学习的程序优化器:学习闭环#

TVM 原始幻灯片第 81 页:基于学习的程序优化器:学习闭环 · 点击放大查看

动画构建页:程序优化器、代码生成器、运行时测量和代价模型形成闭环。

第 82 页|基于学习的程序优化器:训练数据#

TVM 原始幻灯片第 82 页:基于学习的程序优化器:训练数据 · 点击放大查看

从程序在硬件上的测量结果获得训练数据(Training data),用于拟合统计代价模型。图中 D 表示收集的数据集。

第 83 页|基于学习的程序优化器:统计代价模型#

TVM 原始幻灯片第 83 页:基于学习的程序优化器:统计代价模型 · 点击放大查看

加入学习(Learning)与统计代价模型(Statistical Cost Model):用训练数据拟合程序特征到运行时间/代价的预测函数。

第 84 页|基于学习的程序优化器:适配不同硬件#

TVM 原始幻灯片第 84 页:基于学习的程序优化器:适配不同硬件 · 点击放大查看

统计代价模型通过学习适配硬件类型(Adapt to hardware type by learning),并可在约 1 ms 量级(Make prediction in 1ms level)完成预测,远快于实际运行一次程序。

第 85 页|机器学习模型的有效性#

TVM 原始幻灯片第 85 页:机器学习模型的有效性 · 点击放大查看

图表逐步绘制中,纵轴范围约为 0.00–1.50,横轴为试验次数(0–800)。

第 86 页|机器学习模型的有效性#

TVM 原始幻灯片第 86 页:机器学习模型的有效性 · 点击放大查看

实验对象标注为:Titan X 上 ResNet18 的一个 Conv2D 层(One Conv2D Layer of ResNet18 on Titan X)。

第 87 页|机器学习模型的有效性#

TVM 原始幻灯片第 87 页:机器学习模型的有效性 · 点击放大查看

横轴明确为试验次数(Number of Trials),纵轴为相对性能/加速比。

第 88 页|机器学习模型的有效性:cuDNN 基线#

TVM 原始幻灯片第 88 页:机器学习模型的有效性:cuDNN 基线 · 点击放大查看

纵轴为相对加速比(Relative Speedup);图例加入 基线:cuDNN(Baseline: CuDNN)。实验仍是 Titan X 上 ResNet18 的一个 Conv2D 层。

第 89 页|机器学习模型的有效性:随机搜索#

TVM 原始幻灯片第 89 页:机器学习模型的有效性:随机搜索 · 点击放大查看

图例加入 TVM:随机搜索(TVM: Random Search),与 cuDNN 基线比较。随机搜索需要较多试验才能找到高性能程序。

第 90 页|机器学习模型的有效性:基于机器学习的模型#

TVM 原始幻灯片第 90 页:机器学习模型的有效性:基于机器学习的模型 · 点击放大查看

图例加入 TVM:基于机器学习的模型(TVM: ML-based Model)。学习型代价模型比随机搜索更快接近高性能区域,并超过 cuDNN 基线。

第 91 页|基于学习的学习系统#

TVM 原始幻灯片第 91 页:基于学习的学习系统 · 点击放大查看

完整方案总结:

  1. 高层数据流图和优化;
  2. 面向硬件的优化张量程序搜索空间;
  3. 基于机器学习的程序优化器;
  4. 目标硬件。

第 92 页|端到端推理性能:NVIDIA Titan X#

TVM 原始幻灯片第 92 页:端到端推理性能:NVIDIA Titan X · 点击放大查看

在 NVIDIA Titan X 上比较 TensorFlow、Apache MXNet 和 TensorFlow-XLA。

图表:纵轴为时间(ms);模型横轴包括 ResNet-18、MobileNet、LSTM LM、DQN、DCGAN。

第 93 页|端到端推理性能:cuDNN 支持#

TVM 原始幻灯片第 93 页:端到端推理性能:cuDNN 支持 · 点击放大查看

新增说明:各框架由 cuDNN 支持(Backed by cuDNN)。图表比较 TensorFlow、Apache MXNet 与 TensorFlow-XLA 的端到端推理时间。

第 94 页|端到端推理性能:TVM(无图优化)#

TVM 原始幻灯片第 94 页:端到端推理性能:TVM(无图优化) · 点击放大查看

加入 TVM:无图优化(TVM: without graph optimizations),用于区分算子级优化与整图优化的贡献。

第 95 页|端到端推理性能:TVM 全部优化#

TVM 原始幻灯片第 95 页:端到端推理性能:TVM 全部优化 · 点击放大查看

加入 TVM:全部优化(TVM: all optimizations),即同时使用算子调优和图级优化。

第 96 页|端到端推理性能:标准模型#

TVM 原始幻灯片第 96 页:端到端推理性能:标准模型 · 点击放大查看

标注结论:在标准模型(standard models)上,TVM 具有竞争力(Competitive on standard models)。

第 97 页|端到端推理性能:非传统模型#

TVM 原始幻灯片第 97 页:端到端推理性能:非传统模型 · 点击放大查看

补充结论:在不太传统的模型(less conventional models)上,TVM 与现有方案之间的性能差距更大(Bigger gap)。

第 98 页|端到端性能:ARM Cortex-A53#

TVM 原始幻灯片第 98 页:端到端性能:ARM Cortex-A53 · 点击放大查看

在 ARM Cortex-A53 上比较 TensorFlow Lite、TVM(无图优化)和 TVM。

  • 模型:ResNet-18、MobileNet、DQN;
  • 纵轴:时间(ms),不同模型使用不同刻度;
  • 目标是嵌入式 ARM 平台的端到端性能。

第 99 页|端到端性能:ARM Cortex-A53#

TVM 原始幻灯片第 99 页:端到端性能:ARM Cortex-A53 · 点击放大查看

图中注明 TensorFlow Lite 专门针对嵌入式 ARM 系统优化(Specially optimized for Embedded system (ARM)),并与 TVM 的无图优化/全部优化版本比较。

第 100 页|端到端性能:ARM GPU#

TVM 原始幻灯片第 100 页:端到端性能:ARM GPU · 点击放大查看

在 ARM GPU 上比较 ARMComputeLib、TVM(无图优化)和 TVM。

  • 模型:ResNet-18、MobileNet、DQN;
  • 数据类型:float32 与 float16;
  • 纵轴:时间(ms)。

第 101 页|支持新的专用加速器#

TVM 原始幻灯片第 101 页:支持新的专用加速器 · 点击放大查看

在框架、高层图优化、面向硬件的张量程序搜索空间和机器学习优化器之下,可通过 LLVM 与 CUDA 连接不同后端。

第 102 页|支持新的专用加速器:VTA#

TVM 原始幻灯片第 102 页:支持新的专用加速器:VTA · 点击放大查看

新增 VTA:开放且可定制的深度学习加速器(Open, Customizable Deep Learning Accelerator)。目标硬件包括边缘 FPGA(Edge FPGA)、数据中心 FPGA(Data Center FPGA)和 ASIC。

第 103 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 103 页:TVM/VTA:全栈开源系统 · 点击放大查看

系统栈的顶层:

  • 高层优化(High-level Optimizations);
  • 张量程序搜索空间(Tensor Program Search Space);
  • 基于机器学习的优化器(ML-based Optimizer)。

第 104 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 104 页:TVM/VTA:全栈开源系统 · 点击放大查看

在上述软件栈下加入 VTA 微架构(VTA MicroArchitecture)。

第 105 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 105 页:TVM/VTA:全栈开源系统 · 点击放大查看

继续加入 VTA 硬件/软件接口(ISA),连接编译器生成的程序与微架构。

第 106 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 106 页:TVM/VTA:全栈开源系统 · 点击放大查看

加入 VTA 运行时与 JIT 编译器(VTA Runtime & JIT Compiler),负责运行时装载和即时编译。

第 107 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 107 页:TVM/VTA:全栈开源系统 · 点击放大查看

加入 VTA 模拟器(VTA Simulator),可在没有真实硬件时验证指令和编译流程。

第 108 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 108 页:TVM/VTA:全栈开源系统 · 点击放大查看

页面列出系统目标:

  • JIT 编译加速器微代码(JIT compile accelerator micro code);
  • 支持异构设备,在同一开发板上比 CPU 快 10 倍(Support heterogeneous devices, 10x better than CPU on the same board);
  • 将硬件复杂性转移到软件(Move hardware complexity to software)。

第 109 页|TVM/VTA:全栈开源系统#

TVM 原始幻灯片第 109 页:TVM/VTA:全栈开源系统 · 点击放大查看

完整结论:把硬件复杂性转移到软件、编译器、驱动和硬件设计;形成全栈开源(full stack open source)系统。

  • JIT 编译加速器微代码;
  • 支持异构设备,在同一开发板上达到 CPU 的 10 倍性能;
  • 开放 VTA 模拟器、ISA、微架构、运行时和 JIT 编译器。

第 110 页|TVM:基于学习的学习系统#

TVM 原始幻灯片第 110 页:TVM:基于学习的学习系统 · 点击放大查看

总结架构:

  • 高层优化;
  • 张量程序搜索空间;
  • 基于机器学习的优化器;
  • LLVM、CUDA、VTA 后端。

页面号召:欢迎体验(Check it out!)。

原文 PDF 对照

正文插图来自原始 PDF,点击图片可放大查看。也可以在下方翻阅完整原文。

在新窗口打开原文 PDF ↗