跳到主要内容

FOLLOW THIS THREAD

Qwen2.5

Notes on this topic

1 篇公开笔记,沿着这个标签慢慢读。

20261 篇深度报告
左侧监督微调轨迹流经中央 Bradley-Terry 偏好分流天平分离出正负样本通道并连接右侧对齐税监控仪表盘的等距技术插画
约 9 分钟

大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析

基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。