
Stanford CS336 学习记录 07:Byte-Level BPE 分词器训练、倒排索引加速与流式编码
实现 GPT-2 正则预分词、特殊 token 硬边界切分、基于 pair-to-word 倒排索引的增量 BPE 合并算法(< 0.25s 通过速度基准),以及与 tiktoken 完全对齐的 Tokenizer。
FOLLOW THIS THREAD
Notes on this topic
1 篇公开笔记,沿着这个标签慢慢读。

实现 GPT-2 正则预分词、特殊 token 硬边界切分、基于 pair-to-word 倒排索引的增量 BPE 合并算法(< 0.25s 通过速度基准),以及与 tiktoken 完全对齐的 Tokenizer。