跳到主要内容

FOLLOW THIS THREAD

DPO

Notes on this topic

2 篇公开笔记,沿着这个标签慢慢读。

20262 篇深度报告
候选模块经漏斗滤网进入双分支有向无环图轨道并在受阻节点触发暖橙色局部旁路重连的等距技术插画
约 14 分钟

多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环

围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。

左侧监督微调轨迹流经中央 Bradley-Terry 偏好分流天平分离出正负样本通道并连接右侧对齐税监控仪表盘的等距技术插画
约 9 分钟

大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析

基于 Qwen2.5 完整复现 Instruct SFT → Bradley-Terry DPO 两阶段后训练管线:通过 3 随机种子消融 LoRA Rank、学习率与数据规模(GSM8K +12.73pp),实现免双倍权重的动态 Adapter 切换 DPO 训练,并定量揭示偏好对齐对确定性数学推理的对齐税效应。