在大语言模型后训练(Post-Training)管线中,监督微调(SFT)负责教会模型任务格式与领域推理模式,而直接偏好优化(DPO, Direct Preference Optimization)则利用成对偏好数据 将模型输出分布向人类或高分策略偏好对齐。
然而,在实际工程与面试讨论中,有三个关键问题往往缺乏在同一受控实验下的定量回答:
- SFT 阶段的超参数(LoRA Rank 、学习率 、样本规模 )究竟哪个对下游数学推理准确率起决定性作用?单次随机种子的波动有多大?
- 在单卡显存受限环境下运行 DPO,如何在不常驻第二份冻结基座模型(Reference Model )的前提下,精确计算对数概率比 ?
- 在通用偏好数据集(如
Anthropic/hh-rlhf)上完成 DPO 提升安全性与语气偏好后,模型在确定性推理基准(如 GSM8K)上是会协同提升,还是会付出“对齐税(Alignment Tax)”?
本文基于我开源的后训练与对齐实验项目(experiments/sft-ablation/ 与 experiments/dpo-alignment/),以 Qwen2.5 为基座,给出包含 3 随机种子交叉验证(Seeds 42 / 123 / 456)的完整实验数据、代码实现与机理分析。
一、第一阶段:SFT 超参数三维度受控消融(3-Seed 交叉验证)#
为了避免单次训练的随机噪声误导超参结论,我们在 GSM8K 数学推理任务上固定评估集(200 道独立测试题,严格提取 #### <number> 最终数值匹配),对 LoRA Rank、学习率(Learning Rate)与训练样本规模(Data Size)三个正交维度分别执行 3 组随机种子(42, 123, 456)独立训练。
未微调基座模型的零样本准确率为 19.50%。各组实验汇总结果(来自 experiments/sft-ablation/results.json)如下:
1. 维度 A:LoRA Rank 消融(固定 )#
| LoRA Rank () | LoRA Alpha () | 可训练参数占比 | 最终 Train Loss (Mean ± Std) | Eval Loss (Mean ± Std) | GSM8K 准确率 (Mean ± Std) | 相对基座增益 |
|---|---|---|---|---|---|---|
| 8 | 0.11% | |||||
| 16 | 0.22% | |||||
| 32 | 0.44% | |||||
| 64 | 0.87% | |||||
| 128 | 1.72% |
关键发现:随着 Rank 从 4 增至 64,训练集 Loss 单调下降(0.5858 → 0.3052),但验证集 Loss 在 处即达到谷底,并在 时显著反弹(0.6593 → 0.7931),对应 GSM8K 准确率从 29.50% 回落至 27.17%。这证明在中等规模领域微调中,盲目增大 LoRA 秩会导致高秩子空间过拟合训练样本表面措辞, 是兼顾容量与泛化的最优点。
2. 维度 B & C:学习率与数据规模 Scaling 效应#
| 实验分组 | 变量设置 | Eval Loss (Mean ± Std) | GSM8K 准确率 (Mean ± Std) | 相对基座增益 |
|---|---|---|---|---|
| 学习率消融 () | ||||
| 数据规模消融 () | ||||
数据清晰表明:扩大高质量推理轨迹的多样性( 带来 提升)远比在固定小数据集上微调 LoRA Rank 更能突破泛化上限。
二、第二阶段:基于动态 Adapter 切换的零冗余 DPO 实现#
在获得 SFT 模型 后,标准 Bradley-Terry DPO 的损失函数定义为:
如果按照朴素方式在内存中同时实例化 policy_model 与 ref_model 两个完整模型,显存占用会直接翻倍。由于我们的策略网络是在冻结基座上挂载 LoRA 适配器构成的,关闭 LoRA 适配器时的前向传播天然等价于参考模型 。因此,我们通过 disable_adapter() 上下文管理器在单份基座权重上实现了零冗余 DPO 训练循环:
import torch
import torch.nn.functional as F
def compute_response_logps(
logits: torch.Tensor, # [B, T, V]
labels: torch.Tensor, # [B, T], prompt 与 padding 位置已置为 -100
) -> torch.Tensor:
"""仅对有效 Response Token 计算序列对数概率之和。"""
shift_logits = logits[:, :-1, :]
shift_labels = labels[:, 1:]
valid_mask = shift_labels != -100
safe_labels = torch.where(valid_mask, shift_labels, torch.zeros_like(shift_labels))
log_probs = F.log_softmax(shift_logits, dim=-1)
token_logps = torch.gather(log_probs, dim=-1, index=safe_labels.unsqueeze(-1)).squeeze(-1)
return (token_logps * valid_mask).sum(dim=-1)
def dpo_step_single_base(
peft_model,
chosen_ids: torch.Tensor,
chosen_labels: torch.Tensor,
rejected_ids: torch.Tensor,
rejected_labels: torch.Tensor,
beta: float = 0.1,
) -> tuple[torch.Tensor, dict]:
# 1. 在 No-Grad + 关闭 LoRA 适配器状态下计算 Reference 对数概率(零额外基座显存)
with torch.no_grad(), peft_model.disable_adapter():
ref_chosen_logps = compute_response_logps(peft_model(chosen_ids).logits, chosen_labels)
ref_rejected_logps = compute_response_logps(peft_model(rejected_ids).logits, rejected_labels)
# 2. 启用 LoRA 适配器计算当前策略 Policy 对数概率
pi_chosen_logps = compute_response_logps(peft_model(chosen_ids).logits, chosen_labels)
pi_rejected_logps = compute_response_logps(peft_model(rejected_ids).logits, rejected_labels)
# 3. 计算隐式奖励差与 Bradley-Terry 偏好损失
chosen_rewards = beta * (pi_chosen_logps - ref_chosen_logps)
rejected_rewards = beta * (pi_rejected_logps - ref_rejected_logps)
reward_margin = chosen_rewards - rejected_rewards
loss = -F.logsigmoid(reward_margin).mean()
pref_acc = (reward_margin > 0).float().mean().item()
return loss, {"loss": loss.item(), "reward_margin": reward_margin.mean().item(), "pref_acc": pref_acc}
三、对齐税(Alignment Tax)的实证观测与机理剖析#
我们在 Anthropic/hh-rlhf 人类偏好数据集(500 对训练样本,100 对独立测试样本,,2 Epochs)上对 SFT 模型执行 DPO 对齐,并在训练前后同步追踪偏好胜率(Preference Accuracy)、隐式奖励间隔(Reward Margin)与 GSM8K 数学推理准确率(实验产物见 experiments/dpo-alignment/results.json):
| 模型阶段 | HH-RLHF 偏好测试准确率 | 平均隐式奖励间隔 (Margin) | Chosen 平均奖励 | Rejected 平均奖励 | GSM8K 准确率 |
|---|---|---|---|---|---|
| Base 基座模型 | 50.0%(随机基线) | 19.50% | |||
| Stage 1: SFT 模型 | 50.0% | 30.50% | |||
| Stage 2: SFT + DPO 模型 | 62.0%(+12.0 pp) | 27.50%(-3.00 pp) |
这组受控对照清晰呈现了后训练工程中的两个核心现象:
- DPO 期间 Chosen 与 Rejected 对数概率同步下移(Likelihood Displacement):观察表格可以发现,经过 DPO 后,虽然 Chosen 相对 Rejected 拉开了 的显著正向 Margin(偏好判断准确率从 50.0% 跃升至 62.0%),但两者的绝对隐式奖励 均为负值(
-0.7793vs-0.9738)。这是因为纯偏好对比损失只激励拉大相对差距,概率质量容易向分布外的长尾 Token 漂移——这也正是我们在《CycleResearcher 后训练解析》中强调必须叠加 NLL 正则项或改用可验证奖励 GRPO 的根本原因; - 对齐税(Alignment Tax)的真实存在:在通用对话安全与礼貌偏好数据(HH-RLHF)上做 DPO 后,模型在确定性数学推理任务 GSM8K 上的准确率从 30.50% 回落至 27.50%(下降 3.00 个百分点)。通用人类偏好倾向于奖励冗长、谨慎、带免责声明的回复风格,这种分布偏移会轻微干扰算术思维链的紧凑推导。
四、工程实践结论#
- SFT 阶段优先扩充高多样性推理轨迹,谨慎使用高秩 LoRA:3-seed 消融证明 在中小规模指令集上极易诱发验证集 Loss 反弹,而样本量从 250 扩充至 2000 可稳定带来 的推理收益;
- 单卡 DPO 善用
disable_adapter()共享冻结基座:无需常驻双份模型权重即可精确计算参考分布对数概率; - 偏好对齐必须绑定推理回归测试(Regression Suite):任何针对语气、安全或风格的 DPO 迭代,都必须同时监控数学/代码等确定性基准的对齐税,并在混合训练中加入同分布推理 NLL 锚定项。

评论
评论由 GitHub Discussions 驱动,使用 GitHub 账号登录即可留言。