残差强化学习中何种因素使价值学习高效？
机器学习
2026-02-12 v1
摘要
残差强化学习 (RL) 通过冻结基础策略仅学习受限纠正，实现了对表达力强的预训练策略的在线稳定细化。然而，残差 RL 中的价值学习面临独特挑战，尚未得到充分理解。本文识别出两个关键瓶颈：冷启动病态，Critic 缺乏对基础策略附近价值景观的了解；结构尺度不匹配，残差贡献被基础动作所支配。通过系统性调查，我们揭示了这些瓶颈背后的机制，发现简单且原则性的解决方案足以：base-policy 转移为隐式热身提供关键价值锚点，Critic 归一化有效恢复表示灵敏度，以辨别价值差异。基于这些洞见，我们提出 DAWN (Data-Anchored Warmup and Normalization)，一种针对残差 RL 高效价值学习的最小化方法。通过解决这些瓶颈，DAWN 在多样化基准、策略架构和观察模态上 demonstrate substantial efficiency gains。
引用
@article{arxiv.2602.10539,
title = {What Makes Value Learning Efficient in Residual Reinforcement Learning?},
author = {Guozheng Ma and Lu Li and Haoyu Wang and Zixuan Liu and Pierre-Luc Bacon and Dacheng Tao},
journal= {arXiv preprint arXiv:2602.10539},
year = {2026}
}