跳到主要内容
← 课程学习

LEARNING NOTEBOOK / 学习专题

Stanford CS336 学习专题

Language Modeling from Scratch

不依赖 PyTorch 高层黑盒 API,从底层张量契约与算子原语完整实现 Stanford CS336 Assignment 1 全栈语言模型:涵盖 Byte-Level BPE 分词器(倒排索引增量训练 + 流式编码)、Pre-Norm Transformer LM(Linear / Embedding / RMSNorm / SwiGLU / RoPE / 因果多头自注意力)、数值稳定 Cross-Entropy、AdamW 优化器、余弦退火调度、Checkpoint 序列化与 Top-p 采样解码,100% 通过官方全部 48 项单元测试。

Byte-Level BPEPre-Norm Transformer & RoPEAdamW & Cosine ScheduleFLOPs & Memory Accounting

01 / LEARNING LOG

学习记录 8

按学习顺序,回看每一步练习。

02 / READING SHELF

学习资料 10

论文、译稿与实验附件,按需查阅。