跳到主要内容

FOLLOW THIS THREAD

AI Infra

Notes on this topic

8 篇公开笔记,沿着这个标签慢慢读。

20268 篇深度报告
视频扩散 Transformer 时空三维体素网格中冻结背景缓存与暖橙色局部编辑重算通道的等距技术插画
约 8 分钟

EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速

拆解视频扩散模型(Wan2.1-VACE)局部编辑中的三重算力冗余,通过可重入 Latent、跨步 Block 隐状态缓存复用、带 Halo 边界的局部区域重算与自适应推理起点,在单卡 H100 上实现 2.46× 模型计算加速与 1.49× 严格同步端到端加速。

双层磨砂玻璃流道经暖橙色代际闸门过滤后汇入晶格缓存矩阵的等距技术插画
约 14 分钟

XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)

拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。

高并发请求流依次穿过精确哈希滤网、向量球面语义缓存层与 50ms 动态批处理时间窗拼装器的等距系统架构插画
约 8 分钟

高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

终端编程智能体控制台被 ReAct 状态环、Unified Diff 补丁预览门与 MCP 协议插槽环绕的等距技术插画
AI 项目源码导读 #1约 11 分钟

MiniCode 架构与工具评测深度拆解:开源终端 Agentic Coding 引擎(1k+ Stars)的 ReAct、MCP 与 30 项基准验证

深度剖析开源终端 AI 编程智能体 MiniCode(1k+ GitHub Stars)的核心架构:从零重型依赖的 ReAct 规划循环、声明式工具注册表与权限拦截层、MCP 协议帧自动协商,到 30 项可执行 Tool-Use 评测基准(86.7% 完成率、100% 错误恢复率)的失败分布归因与闭环优化。

科研智能体编排核心通过 memory、artifact 与隔离容器沙箱三座协议桥连接双流工作台的等距架构插画
DeepScientist 工程复盘 #1约 10 分钟

DeepScientist 架构与运行时全解析:超 100K 上下文科研智能体、MCP 沙箱与高并发流式系统

深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。