GAC：面向混合SFT-RL后训练的噪声感知自适应混合
机器学习
2026-05-27 v1 人工智能
摘要
混合后训练通常组合监督微调和强化学习，但固定的混合计划无法适应随时间变化的两种信号相对噪声。我们提出了GAC——一个噪声感知控制器，从在线估计的梯度方差和两种训练信号之间的不一致性中推导出自适应混合权重。该方法在重用现有训练张量的同时加入平滑、先验引导和受限更新。在数学、代码、科学和逻辑基准测试上实验表明，GAC在强大的固定和基于规则的基准之上持续改进混合后训练，较大模型规模时提升更为显著，训练开销不足1%。
引用
@article{arxiv.2605.26184,
title = {GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training},
author = {Yuelin Hu and Zhenbo Yu and Zhengxue Cheng and Wei Liu and Li Song},
journal= {arXiv preprint arXiv:2605.26184},
year = {2026}
}
备注
15 pages, 3 figures, 22 tables