跳到主要内容

你好,我是古恩豪

构建系统,
用数据说话。

这里是古恩豪的技术手记。聚焦 LLM Agent 架构、后训练对齐(GRPO / DPO)、多模态推理蒸馏与 AI Infra(SGLang / CUDA 算子 / C++ 并发系统)的实验与源码剖析。

写代码、读论文,探索语言模型与系统。

38 篇公开记录104 个技术专题持续写作与实验

01 / Latest Research & Engineering

最新深度长文

近期完成的算法实验、系统性能剖析与开源底层修复记录。

查看全部
视频扩散 Transformer 时空三维体素网格中冻结背景缓存与暖橙色局部编辑重算通道的等距技术插画

EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速

拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。

扩散模型视频生成AI Infra
从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)串联两项生成式模型与多模态智能体研究:如何通过推理期局部随机微扰在单模型内构造免训练扩散自引导向量(ICML 2025 Workshop 第一作者,arXiv:2510.17136),以及如何通过五阶段视觉-符号混合流水线生成原生可编辑 SVG 科研插图(ACL 2026 Demo,FigureBench 83.0% 胜率)。扩散模型XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。AI Infra多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。Agent多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。知识蒸馏高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。AI Infra大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。Post-training

CORE RESEARCH & ENGINEERING TRACKS

核心研究与系统工程脉络

Selected / Flagship Deep Dives

代表性研究与系统实录

涵盖开源 C++ 并发修复、工业级多约束 Agent 规划、多模态蒸馏与可审计评审、单卡 FSDP2 多模态 GRPO 及 CUDA 融合算子。

双层磨砂玻璃流道经暖橙色代际闸门过滤后汇入晶格缓存矩阵的等距技术插画

XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)

拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。

AI InfraC++XGrammar
候选模块经漏斗滤网进入双分支有向无环图轨道并在受阻节点触发暖橙色局部旁路重连的等距技术插画

多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环

围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。

AgentLLM工具调用
三块半透明几何棱镜发出平行光束穿过中央校准环汇聚至右侧高密度晶体模块的等距技术插画

多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解

对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。

知识蒸馏多模态Qwen2.5-VL
左侧扩散流形自校正轨迹矢量场与右侧五阶段可编辑 SVG 科研插图分层网格相衔接的等距技术插画

从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)

串联两项生成式模型与多模态智能体研究:如何通过推理期局部随机微扰在单模型内构造免训练扩散自引导向量(ICML 2025 Workshop 第一作者,arXiv:2510.17136),以及如何通过五阶段视觉-符号混合流水线生成原生可编辑 SVG 科研插图(ACL 2026 Demo,FigureBench 83.0% 胜率)。

扩散模型多模态Agent
左侧监督微调轨迹流经中央 Bradley-Terry 偏好分流天平分离出正负样本通道并连接右侧对齐税监控仪表盘的等距技术插画

大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析

基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。

Post-trainingDPOSFT
高并发请求流依次穿过精确哈希滤网、向量球面语义缓存层与 50ms 动态批处理时间窗拼装器的等距系统架构插画

高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

AI InfraLLM 推理分布式系统
笔记本与单卡计算模块通过图像和 token 光轨连接的实验台插画

从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践

在 M2 Pro 和云端单卡上部署 Qwen2.5-VL-3B,实测连续批处理、前缀缓存与 SGLang 参数调优,再用 verl 完成多模态 GRPO 更新和同条件前后评测,记录有效优化、兼容性问题与未观察到提升的结果。

Qwen2.5-VL多模态SGLang
融合残差加法与向量化 float4 访存经 Warp Shuffle 蝴蝶树归约输出归一化张量的等距硬件架构插画

从 PyTorch 到 CUDA Kernel:融合 RMSNorm 在 RTX 4090D 上加速 4.27 倍

从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。

CUDAAI InfraGPU
科研智能体编排核心通过 memory、artifact 与隔离容器沙箱三座协议桥连接双流工作台的等距架构插画

DeepScientist 架构与运行时全解析:超 100K 上下文科研智能体、MCP 沙箱与高并发流式系统

深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。

AgentAI InfraMCP

LEARNING / 课程学习与系统实践

把经典课程一行行写成代码

2 门硬核公开课 · 包含双语精读译稿、从零实现代码与 GPU 实验记录

查看全部课程

Index / Topics

技术专题索引

顺着一个技术方向或系统组件,检索全部相关实验与源码分析。

完整标签云