模型集成是否必要？基于单一模型与Lipschitz正则化值函数的模型强化学习
机器学习
2023-02-03 v1
摘要
概率动力学模型集成在现有基于模型的强化学习方法中被广泛使用，因为它在渐近性能和样本效率上都优于单一动力学模型。本文通过Lipschitz连续性的视角，对概率动力学模型集成的经验成功提供了实践和理论见解。我们发现，对于值函数而言，Lipschitz条件越强，真实动力学与所学动力学诱导的Bellman算子之间的差距就越小，从而使收敛的值函数更接近最优值函数。因此，我们假设概率动力学模型集成的关键功能是利用生成的样本正则化值函数的Lipschitz条件。为验证该假设，我们设计了两种实用的鲁棒训练机制，通过计算每个值网络的对抗噪声和正则化其谱范数来直接正则化值函数的Lipschitz条件。实证结果表明，结合我们的机制，使用单一动力学模型的基于模型的RL算法优于使用概率动力学模型集成的算法。这些发现不仅支持了理论见解，也为开发计算高效的基于模型的RL算法提供了实用方案。
引用
@article{arxiv.2302.01244,
title = {Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function},
author = {Ruijie Zheng and Xiyao Wang and Huazhe Xu and Furong Huang},
journal= {arXiv preprint arXiv:2302.01244},
year = {2023}
}
备注
ICLR 2023