跳到主要内容

FOLLOW THIS THREAD

分布式系统

Notes on this topic

3 篇公开笔记,沿着这个标签慢慢读。

20263 篇深度报告
高并发请求流依次穿过精确哈希滤网、向量球面语义缓存层与 50ms 动态批处理时间窗拼装器的等距系统架构插画
约 8 分钟

高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理

深度拆解生产级大模型推理网关 LLM-Gateway 的核心系统设计:基于 SHA-256 与 Redis 向量余弦相似度的两级精确/语义缓存、50ms 有界等待动态批处理调度器(Dynamic Batching)、令牌桶多租户限流与 Prometheus 全链路可观测性,将命中请求 P99 延迟从 5,307 ms 压降至 17 ms。

科研智能体编排核心通过 memory、artifact 与隔离容器沙箱三座协议桥连接双流工作台的等距架构插画
DeepScientist 工程复盘 #1约 10 分钟

DeepScientist 架构与运行时全解析:超 100K 上下文科研智能体、MCP 沙箱与高并发流式系统

深度拆解服务 7,000+ 用户的科研自主智能体平台 DeepScientist:从一题一仓库(Quest)持久化状态机、MCP 工具栈(memory / artifact / bash_exec)、Docker SDK 动态容器编排,到 SSE + WebSocket 双流通信与 PostgreSQL / Redis / Prometheus 生产级基础设施。