01 / Latest Research & Engineering
最新深度长文
近期完成的算法实验、系统性能剖析与开源底层修复记录。

EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。
CORE RESEARCH & ENGINEERING TRACKS
核心研究与系统工程脉络
AI Infra & Agent
SGLang / vLLM 推理服务、CUDA 融合算子、DAG 规划与 MCP 沙箱平台。
Post-Training & RL
Verifiable GRPO(verl)、SFT → DPO 偏好对齐、对齐税评测与跨模态知识蒸馏。
后端与分布式系统
Go 微服务、Redis / PostgreSQL、分布式锁与高吞吐数据链路设计。
源码剖析与架构复盘
XGrammar C++ 并发修复、DeepScientist、MiniCode 与推理引擎核心源码。
Selected / Flagship Deep Dives
代表性研究与系统实录
涵盖开源 C++ 并发修复、工业级多约束 Agent 规划、多模态蒸馏与可审计评审、单卡 FSDP2 多模态 GRPO 及 CUDA 融合算子。

XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。

多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。

多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解
对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。

从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)
串联两项生成式模型与多模态智能体研究:如何通过推理期局部随机微扰在单模型内构造免训练扩散自引导向量(ICML 2025 Workshop 第一作者,arXiv:2510.17136),以及如何通过五阶段视觉-符号混合流水线生成原生可编辑 SVG 科研插图(ACL 2026 Demo,FigureBench 83.0% 胜率)。

大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析
基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。

高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
在 M2 Pro 和云端单卡上部署 Qwen2.5-VL-3B,实测连续批处理、前缀缓存与 SGLang 参数调优,再用 verl 完成多模态 GRPO 更新和同条件前后评测,记录有效优化、兼容性问题与未观察到提升的结果。

从 PyTorch 到 CUDA Kernel:融合 RMSNorm 在 RTX 4090D 上加速 4.27 倍
从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。

DeepScientist 架构与运行时全解析:超 100K 上下文科研智能体、MCP 沙箱与高并发流式系统
深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。
LEARNING / 课程学习与系统实践
把经典课程一行行写成代码
2 门硬核公开课 · 包含双语精读译稿、从零实现代码与 GPU 实验记录
Index / Topics
技术专题索引
顺着一个技术方向或系统组件,检索全部相关实验与源码分析。