
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。
FOLLOW THIS THREAD
Notes on this topic
2 篇公开笔记,沿着这个标签慢慢读。

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

从零实现 PyTorch CUDA 扩展,拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。