跳到主要内容
所有文章
AI Infra

EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速

拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。

视频扩散 Transformer 时空三维体素网格中冻结背景缓存与暖橙色局部编辑重算通道的等距技术插画
文章目录

在基于 Diffusion Transformer(DiT)的视频编辑与局部重绘(Video Inpainting / Local Editing)任务中,用户的典型工作流并不是一次性生成最终成片,而是针对同一段源视频反复调整掩码区域(Mask)或提示词(Prompt)进行多轮交互式精修。

然而,以 Wan2.1-VACE 为代表的多模态视频 DiT 在处理这类局部编辑请求时,标准推理管线将每一次局部微调都视为从纯高斯噪声 zT∼N(0,I)z_T \sim \mathcal{N}(0, I) 出发的完整全图去噪过程。在 33 帧、480×480480 \times 480 分辨率、50 步采样設定下,3D Full Attention 需要对数千个时空 Patch Token 执行长达数十步的双路 Classifier-Free Guidance(CFG)前向传播,单次编辑在单张 H100 GPU 上耗时接近 1 秒,严重制约了交互式视频编辑系统的实时响应能力。

本文结合我在北京大学 IFlab 参与的视频扩散模型局部编辑加速研究 EditCache(共同第一作者),从计算冗余形式化分析出发,详细拆解可重入源视频 Latent 缓存、跨步 Block 级隐状态复用(Temporal Step Skipping)、带空间 Halo 的局部掩码重算(Regional Token Update)以及自适应晚启动(Adaptive Late Start)四项核心机制,并给出单卡 H100 上的严格同步基准测试与系统开销消融。


一、问题剖析:交互式视频局部编辑中的三重算力冗余#

设输入源视频经 3D 因果 VAE 编码后的潜变量张量为 z0src∈RC×F′×H′×W′z_0^{\text{src}} \in \mathbb{R}^{C \times F' \times H' \times W'},经过 Patchify 后展平为长度为 N=F′⋅Hp⋅WpN = F' \cdot H_p \cdot W_p 的时空 Token 序列。用户给定的二值编辑掩码下采样至 Token 网格后记为 M∈{0,1}NM \in \{0, 1\}^N,其中前景待编辑区域索引集为 Iedit={i∣Mi=1}\mathcal{I}_{\text{edit}} = \{i \mid M_i = 1\},背景保持区域索引集为 Ibg={i∣Mi=0}\mathcal{I}_{\text{bg}} = \{i \mid M_i = 0\}。

在绝大多数真实局部编辑场景中,前景掩码占比 ρ=∣Iedit∣/N\rho = |\mathcal{I}_{\text{edit}}| / N 通常仅为 10%∼35%10\% \sim 35\%。对标准 Wan2.1-VACE 推理链路做 Profiling 可以发现三层正交的计算浪费:

text
冗余维度 1 (时间步冗余) : 相邻采样步 t 与 t-1 之间,深层 DiT Block 的残差特征增幅具有极高余弦相似度
冗余维度 2 (空间域冗余) : 占比 65%~90% 的背景 Token (M_i = 0) 在每一步仍参与完整的 FFN 与注意力更新
冗余维度 3 (起点步冗余) : 局部编辑并非无中生有,前 k 步高噪声阶段的全局布局去噪可由源视频加噪先验直接替代

更具体地说,单步 DiT 包含 LL 层 Transformer Block,每层由 3D 自注意力(Self-Attention)、文本交叉注意力(Cross-Attention)与前馈网络(FFN / SwiGLU)组成。当使用 Classifier-Free Guidance(CFG)时,每个去噪步 tt 实际上需要对条件分支(Cond)与无条件分支(Uncond)分别执行一次完整前向:

v^θ(zt,t,c)=vθ(zt,t,∅)+s⋅(vθ(zt,t,c)−vθ(zt,t,∅))\hat{v}_\theta(z_t, t, c) = v_\theta(z_t, t, \varnothing) + s \cdot \left(v_\theta(z_t, t, c) - v_\theta(z_t, t, \varnothing)\right)

如果能同时在初始化起点、去噪时间步与空间 Token 维度裁剪无效计算,理论计算量将获得乘性下降。但工程上的难点在于:如何在跳过计算的同时,彻底消除前景与背景交界处的时空拼接伪影(Boundary Seam Artifacts)?


二、EditCache 四大核心机制设计#

EditCache 在不修改预训练模型权重(Training-Free)的前提下,围绕交互式会话构建了一套跨请求与跨时间步的多级缓存复用架构:

text
[源视频首轮载入] ──► 3D VAE 编码 & VACE Context 预提取 ──► 驻留 Re-entrant Latent Cache
                                                                │
[交互式局部编辑] ──► 1. 自适应推理起点 (Adaptive Late Start, t_start < T)
                     2. 锚点步 (Anchor Step)  : 全量更新并写入各 Block 隐状态缓存 H_cache
                     3. 跳步复用 (Skipped Step): 直接复用或线性外推跨步 Block 残差
                     4. 区域重算 (Regional Step): 仅抽取 M_dilated (Edit + Halo) 子序列重算

1. 可重入源视频 Latent 与上下文缓存(Re-entrant Latent Cache)#

在多轮编辑会话中,用户往往针对同一源视频连续修改多处局部细节。标准流水线在每次请求时重复执行视频解码、帧归一化、3D VAE Encode 以及 VACE 条件分支的特征提取。EditCache 将源视频潜空间表征 z0srcz_0^{\text{src}} 与静态视觉上下文特征按内容哈希驻留显存,后续针对同一视频的局部编辑请求直接零拷贝重入去噪循环。

2. 自适应推理起点(Adaptive Late Start)#

在 Flow Matching / 扩散去噪轨迹的早期步(t≈Tt \approx T,高噪声区),模型主要恢复视频的低频全局构图;而在局部编辑任务中,全局构图已由源视频 z0srcz_0^{\text{src}} 决定。EditCache 根据前景掩码面积占比 ρ=∣Iedit∣/N\rho = |\mathcal{I}_{\text{edit}}| / N 动态决定起始时间步 tstartt_{\text{start}}:

ztstart=(1−σtstart)z0src+σtstartϵ,ϵ∼N(0,I)z_{t_{\text{start}}} = (1 - \sigma_{t_{\text{start}}}) z_0^{\text{src}} + \sigma_{t_{\text{start}}} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

当编辑区域较小(ρ\rho 较低)时,系统自动跳过前序高噪声步,直接从中间时间步 tstartt_{\text{start}} 注入噪声并启动去噪,不仅省去了早期步的整网前向,还天然提高了背景区域的时序一致性。

3. 跨步 Block 级隐状态复用(Block-Level Feature Reuse)#

在去噪中段,相邻时间步之间的 Transformer 块输出残差 ΔHt(l)=Ht(l)−Ht(l−1)\Delta H_t^{(l)} = H_t^{(l)} - H_t^{(l-1)} 变化极其平滑。EditCache 将采样轨迹划分为锚点步(Anchor Steps)与复用步(Reuse Steps)。在锚点步 tat_a,模型正常执行计算并缓存指定层段的特征增幅;在随后的复用步,直接用缓存的跨层残差更新隐状态,完全省去中间多层 Transformer Block 的矩阵乘法与注意力开销。

4. 带空间 Halo 的局部区域重算(Regional Recomputation with Spatial Halo)#

对于未跳过的时间步,真的需要对全部 NN 个 Token 执行计算吗?如果仅对前景掩码 Iedit\mathcal{I}_{\text{edit}} 内的 Token 做更新,而将背景 Token Ibg\mathcal{I}_{\text{bg}} 完全冻结为上一锚点步的缓存值,前景与背景边缘会因为缺乏局部注意力交互而产生明显的色块割裂。

为此,EditCache 引入了形态学膨胀缓冲带(Spatial Halo):对三维掩码 MM 在空间维度执行半径为 rr 的膨胀操作,得到活跃计算索引集:

Iactive=Dilater(M)=Iedit∪Ihalo,Nactive=∣Iactive∣≪N\mathcal{I}_{\text{active}} = \text{Dilate}_{r}(M) = \mathcal{I}_{\text{edit}} \cup \mathcal{I}_{\text{halo}}, \quad N_{\text{active}} = |\mathcal{I}_{\text{active}}| \ll N

在局部重算步中,仅收集(Gather)Iactive\mathcal{I}_{\text{active}} 对应的 Token 子序列进入 FFN、交叉注意力与局部注意力更新,其余背景 Token 直接复用缓存中的隐状态,并在算子出口处通过索引散射(Scatter)写回完整张量:

python
import torch

def regional_block_forward(
    x: torch.Tensor,                  # [B, N, D] 完整时空 Token 序列
    active_idx: torch.Tensor,         # [N_active] 前景编辑区 + Halo 缓冲带索引
    cached_bg_out: torch.Tensor,      # [B, N, D] 上一锚点步缓存的完整层输出
    attn_layer: torch.nn.Module,
    ffn_layer: torch.nn.Module,
    cached_kv: tuple[torch.Tensor, torch.Tensor],
) -> torch.Tensor:
    """仅对活跃区域 (Edit + Halo) 执行变换,背景直接复用锚点缓存。"""
    # 1. Gather 活跃子序列,序列长度从 N 降至 N_active
    idx_expanded = active_idx.unsqueeze(0).unsqueeze(-1).expand(x.size(0), -1, x.size(-1))
    x_active = torch.gather(x, dim=1, index=idx_expanded)

    # 2. 活跃 Query 关注全局缓存 K/V(保持长程上下文一致),随后仅对活跃 Token 跑 FFN
    h_active = attn_layer.forward_regional(x_active, cached_kv=cached_kv, active_idx=active_idx)
    out_active = ffn_layer(h_active)

    # 3. 以缓存输出为底板,将更新后的活跃区域 Scatter 回原空间位置
    out = cached_bg_out.clone()
    out.scatter_(dim=1, index=idx_expanded, src=out_active)
    return out

三、H100 基准测试:为什么必须区分“模型计算耗时”与“端到端同步耗时”?#

我们在单张 NVIDIA H100(80GB HBM3) 上基于 Wan2.1-VACE(33 帧,480×480480 \times 480 分辨率)对 EditCache 进行了系统评测。在统计延迟时,我们严格区分了两个核心口径:

  1. 纯模型计算耗时(Model Compute Latency):使用 torch.cuda.Event(enable_timing=True) 包裹 DiT 去噪主循环,度量 GPU 算子实际执行时间;
  2. 严格同步端到端耗时(Strict-Sync E2E Latency):包含前后向 CUDA Stream 同步、缓存张量读写、掩码索引构造以及主机侧(Host-side)调度开销的完整墙钟时间。

1. 主实验性能对比#

评测方案模型计算耗时 (ms)模型计算加速比严格同步端到端耗时 (ms)端到端加速比视觉保真度 (PSNR / SSIM)
Wan2.1-VACE 标准基线978.23 ms1.00×979.00 ms1.00×基准参考
EditCache(完整方案)398.07 ms2.46×658.50 ms1.49×无明显拼接伪影,时序高度一致

可以看到,EditCache 将核心 DiT 模型计算耗时从 978.23 ms 压缩至 398.07 ms(2.46× 加速);在计入所有缓存管理与同步开销后,严格同步端到端延迟从 979.00 ms 降至 658.50 ms(1.49× 加速)。

2. 为什么 2.46× 的模型加速对应 1.49× 的端到端加速?#

深入剖析 978.23 → 398.07 ms 与 979.0 → 658.5 ms 之间的约 260 ms 差值,正是 AI 系统工程中最值得关注的访存与调度开销(Memory & Transfer Overhead):

  • 非连续内存 Gather / Scatter 与 Clone 开销:在局部区域重算中,根据不规则空间掩码索引从 [B, N, D] 张量中抽取子序列并写回缓存底板,引入了额外的 HBM 读写带宽消耗;
  • 跨层隐状态缓存读写:在锚点步保存多层的 [B, N, D] 激活与 K/V 张量,虽然省去了 GEMM 与 FlashAttention 算力,但增加了高带宽显存池的读写事务。

3. 各组件消融实验(Ablation Study)#

为了验证每一项机制的独立贡献,我们依次叠加可重入 Latent 缓存、自适应推理起点、跨步特征复用与带 Halo 的区域重算:

消融配置模型计算耗时 (ms)相对计算加速关键观察与质量边界
基线(Full Denoising)978.231.00×每次编辑重跑完整去噪步与全图 Token
+ 自适应推理起点(Adaptive Late Start)742.151.32×省去早期高噪声全局布局步,背景结构更稳定
+ 跨步 Block 隐状态复用518.601.89×大幅削减中段去噪步的冗余层计算
+ 局部区域重算(无 Halo,r=0r=0)381.402.56×速度最快,但掩码边缘偶发轻微色彩过渡生硬
+ 局部区域重算(含 Halo,r=2r=2,EditCache)398.072.46×仅增加约 17 ms 开销,彻底消除前景/背景边界伪影

四、工程启示小结#

  1. 交互式生成系统的优化不能只看单次冷启动:将多轮视频编辑建模为有状态会话(Stateful Session),通过可重入 Latent 与跨步隐状态缓存复用历史计算,比单纯压榨单步算子能换来更大的算法级剪枝空间;
  2. 空间稀疏更新必须兼顾感受野连续性:在 3D DiT 中直接按硬掩码裁剪 Token 会破坏局部自注意力的空间平滑性,引入轻量级的形态学 Halo 缓冲带是兼顾加速比与边缘视觉无损的关键;
  3. 坚持报告 Strict-Sync 端到端指标:在撰写系统论文与工程复盘时,同时给出纯算子耗时(398.07 ms / 2.46×)与包含张量拷贝同步的端到端耗时(658.50 ms / 1.49×),才能真实反映内存带宽在稀疏推理加速中的边界作用。

评论

评论由 GitHub Discussions 驱动,使用 GitHub 账号登录即可留言。