恒定框架：应对永恒变革中的強化學習穩定性
机器学习
2025-10-07 v1
摘要
强化学习的训练过程常常严重出现振荡，导致不稳定和性能下降。本文提出了恒定框架（Constant in an Ever-Changing World, CIC），通过增强算法稳定性来提升性能。CIC维持两个代表性策略和当前策略。不同于盲目更新代表性策略，CIC仅在当前策略表现优异时才选择性地更新代表性策略。此外，CIC采用自适应调整机制，使代表性策略和当前策略能够协同促进评估器训练。我们在五个MuJoCo环境上对CIC进行评估，结果表明，CIC在不增加计算成本的情况下，提高了传统算法的性能。
引用
@article{arxiv.2510.03330,
title = {Constant in an Ever-Changing World},
author = {Andy Wu and Chun-Cheng Lin and Yuehua Huang and Rung-Tzuo Liaw},
journal= {arXiv preprint arXiv:2510.03330},
year = {2025}
}
备注
in Chinese language