
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。
全部旗舰长文 · 共 16 篇 — 代表性学术研究、开源基础设施与生产级系统拆解

拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。

串联两项生成式模型与多模态智能体研究:如何通过推理期局部随机微扰在单模型内构造免训练扩散自引导向量(ICML 2025 Workshop 第一作者,arXiv:2510.17136),以及如何通过五阶段视觉-符号混合流水线生成原生可编辑 SVG 科研插图(ACL 2026 Demo,FigureBench 83.0% 胜率)。

拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。

围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。

对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。

用 Qwen3 0.6B Base 和 MLX 完成领域持续训练与监督微调,记录数据划分、聊天模板、损失掩码、数值稳定性修复和独立测试结果。

从 MuJoCo 抓取搬运闭环出发,记录 22,100 个评测回合。动作平滑在自建任务的 50 ms 延迟下有效,换到 Panda Lift 却没有支持同样的收益。

在 M2 Pro 和云端单卡上部署 Qwen2.5-VL-3B,实测连续批处理、前缀缓存与 SGLang 参数调优,再用 verl 完成多模态 GRPO 更新和同条件前后评测,记录有效优化、兼容性问题与未观察到提升的结果。

区分推理时 Agent 编排与模型后训练,并拆解 CycleResearcher 的领域 SFT、生成式 Reward Model、Iterative SimPO 和评测风险。

从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。

结合生产级多约束 Agent 与超 100K Token 科研智能体实践,系统拆解长程会话中的上下文膨胀与注意力稀释问题:涵盖 Observation 结构化剪枝(降低约 40% Token 开销)、滚动工作摘要、向量检索长期记忆及 Prefix Cache 友好的上下文组装。

结合 DeepScientist 生产级 AI 科研平台实践,拆解 FastAPI ASGI 异步事件循环、SQLAlchemy 2.0 + AsyncPG 连接池调优、PostgreSQL + MinIO 存储分层与 Docker SDK 动态沙箱容器编排的职责边界与核心设计。

深度剖析开源终端 AI 编程智能体 MiniCode(1k+ GitHub Stars)的核心架构:从零重型依赖的 ReAct 规划循环、声明式工具注册表与权限拦截层、MCP 协议帧自动协商,到 30 项可执行 Tool-Use 评测基准(86.7% 完成率、100% 错误恢复率)的失败分布归因与闭环优化。

深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。