
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
用 210 组 CPU 配置比较连续与分页 KV cache,观察 31/32-token 共享前缀的页边界,分别记录活跃槽位、池容量、复制计数和完整调用耗时。
FOLLOW THIS THREAD
Notes on this topic
2 篇公开笔记,沿着这个标签慢慢读。

用 210 组 CPU 配置比较连续与分页 KV cache,观察 31/32-token 共享前缀的页边界,分别记录活跃槽位、池容量、复制计数和完整调用耗时。

在 CPU 上验证 KV 页共享和写时复制,用单位成本模型检查连续批处理,再用条件概率小模型核对推测采样的接受与补采样。