
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。
FOLLOW THIS THREAD
Notes on this topic
8 篇公开笔记,沿着这个标签慢慢读。

拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。

拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。

结合生产级多约束 Agent 与超 100K Token 科研智能体实践,系统拆解长程会话中的上下文膨胀与注意力稀释问题:涵盖 Observation 结构化剪枝(降低约 40% Token 开销)、滚动工作摘要、向量检索长期记忆及 Prefix Cache 友好的上下文组装。

结合 DeepScientist 生产级 AI 科研平台实践,拆解 FastAPI ASGI 异步事件循环、SQLAlchemy 2.0 + AsyncPG 连接池调优、PostgreSQL + MinIO 存储分层与 Docker SDK 动态沙箱容器编排的职责边界与核心设计。

深度剖析开源终端 AI 编程智能体 MiniCode(1k+ GitHub Stars)的核心架构:从零重型依赖的 ReAct 规划循环、声明式工具注册表与权限拦截层、MCP 协议帧自动协商,到 30 项可执行 Tool-Use 评测基准(86.7% 完成率、100% 错误恢复率)的失败分布归因与闭环优化。

深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。