跳到主要内容
CMU 15-779 学习专题
技术

CMU 15-779 学习记录 12:LoRA 首步梯度、权重合并与均匀 4-bit 打包

用一次 CPU SGD 更新检查 LoRA 初始化、冻结基座与合并等价,再分别记录均匀 4-bit 存储字节数和量化误差。

浅色手绘的大计算板、两块细长适配板和成对打包的小方块
文章目录

第 17 讲的个人配套实验,35 号脚本实际执行一次 CPU LoRA 更新,并实现均匀 4-bit 打包。实验检查机制与数值误差,不评估微调任务效果,也没有实现完整 QLoRA。

这次把两个问题分开记录:低秩分支是否能合并进原权重,低比特保存又会引入多少误差。源码与原始结果保存在实验快照中;整理时复跑,两部分结果均与原报告一致。

查看代码版本 · 下载 31 至 37 号代码与结果 ZIP

192 个基座参数与 84 个可训练参数#

脚本沿用 PyTorch 的 W[out,in] 约定,冻结 W[12,16],训练 A[3,16] 和 B[12,3],rank 为 3、alpha 为 6,缩放系数 s 为 2:

Y=XWT+s(XAT)BT,s=αr.Y=XW^T+s(XA^T)B^T,\qquad s=\frac{\alpha}{r}.

基座参数量为 12×16=192,适配器为 3×16+12×3=84。W 以 buffer 保存,优化器只更新 A、B。降低可训练参数量不等于基座计算和激活都消失。

A 使用随机小值,B 初始化为零。初始低秩分支输出为零,与基座输出的最大误差为 0。对 7 个样本计算 MSE 并反向后,梯度范数为:

参数首步梯度范数
A0
B0.1857457504

由于 A 的梯度路径乘上 B,零 B 会使 A 的首步梯度为零;B 仍可通过非零 A 获得梯度。若 A、B 都置零,这两个因子的更新会遇到零梯度问题。

合并检查保持同一个表达式#

脚本执行一次学习率 0.1 的 SGD,确认基座 W 保持原值。然后构造:

Wmerged=W+sBA.W_{\mathrm{merged}}=W+sBA.

低秩分支输出与 X @ W_merged.T 的最大绝对误差为 1.78e-15。单元测试另使用非零 A、B,核对两种表达式对输入及适配器参数的梯度。

这个对照使用同一组高精度权重,差异来自浮点计算顺序。实验只验证一个线性模块和一步更新,没有训练真实语言模型,也没有任务精度结论。

两个 4-bit 码打包进一个字节#

量化实验使用 16 个在 [-1,1] 上均匀分布的码点,每 64 个权重共享一个 absmax 尺度,尺度保存为 FP32。两个码打包到一个 uint8:

python
packed = codes[::2] | (codes[1::2] << 4)
# 解包
low = packed & 15
high = packed >> 4

192 个权重恰好分成 3 块,code 占 96B,3 个 FP32 尺度占 12B,合计 108B。原始 float64 权重数据为 1536B;这些数字只比较张量数据,不包含 Python 对象和其他运行内存。非整除情况还需计入末块填充,现有测试覆盖了这类边界。

原始报告的数值对照最大绝对误差
反量化权重与原始权重0.1754975613
当前输入的线性输出0.8775516177

这次量化会改变权重,输出误差不能套用 LoRA 合并的等价容限。运行时如果同时保留打包张量和反量化后的权重,总驻留内存也会超过 108B。

均匀码本没有实现 QLoRA 的 NF4 非均匀码点,也未实现 double quantization、paged optimizer 或低比特计算 kernel。这里的 LoRA 更新和量化对照是两项独立检查,不能合称已经完成 QLoRA 训练。

复现与课程材料#

bash
python3.11 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
.venv/bin/python 35_lora_quantization.py --output results/35-rerun.json
.venv/bin/python -m unittest discover -s tests -v

共享 ZIP 包含 31 至 37 号冻结脚本及 22 项测试,其中 3 项直接检查 LoRA 与量化。保留完整共享测试文件所需模块后,可独立运行;完整发布仓库的 52 项测试也已通过。

可对照原课微调课件、LoRA和 QLoRA。真实 GPU 微调按学习安排跳过,论文阅读确认与课程项目仍单独验收。

Series

CMU 15-779

  1. 01 CMU 15-779 学习记录 01:PyTorch 自动求导与线性回归
  2. 02 CMU 15-779 学习记录 02:nn.Linear、张量形状与 ReLU
  3. 03 CMU 15-779 学习记录 03:DataLoader、模型保存与批量推理
  4. 04 CMU 15-779 学习记录 04:多输出线性层、ReLU 与绝对值网络
  5. 05 CMU 15-779 学习记录 05:Profiler、算子调用与批量推理
  6. 06 CMU 15-779 学习记录 06:CUDA 线程索引与边界检查
  7. 07 CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
  8. 08 CMU 15-779 学习记录 08:分块 Attention、在线 Softmax 与 KV cache
  9. 09 CMU 15-779 学习记录 09:CPU 编译优化、合法重写与候选搜索
  10. 10 CMU 15-779 学习记录 10:加权梯度、状态分片与同步流水线
  11. 11 CMU 15-779 学习记录 11:分页 KV、连续批处理与推测采样
  12. 12 CMU 15-779 学习记录 12:LoRA 首步梯度、权重合并与均匀 4-bit 打包
  13. 13 CMU 15-779 学习记录 13:MoE 路由、稀疏分发与容量溢出
  14. 14 CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本

评论

评论由 GitHub Discussions 驱动,使用 GitHub 账号登录即可留言。