强化学习跨环境超参数设置基准
机器学习
2024-07-29 v1
摘要
本文引入一种新的实证方法——跨环境超参数设置基准（Cross-environment Hyperparameter Setting Benchmark），用于比较不同环境下基于单一超参数设置的强化学习算法，鼓励开发对超参数不敏感的算法。我们展示了该基准对统计噪声具有鲁棒性，即使仅使用少量样本，在多次应用中也能获得定性相似的结果。这种鲁棒性使得该基准在计算上成本低廉，允许以低成本获得统计学上可靠的见解。我们展示了该基准的两种示例实现：针对六个小型控制环境的SC-CHS，以及针对整个DM Control套件中28个环境的DMC-CHS。最后，为了说明CHS适用于具有挑战性环境的现代强化学习算法，我们开展了一项新的实证研究，探讨了连续控制文献中的一个开放问题。我们表明，对于DMC-CHS上的DDPG算法在探索中使用Ornstein-Uhlenbeck噪声与不相关高斯噪声之间，性能之间不存在显著差异。
关键词
引用
@article{arxiv.2407.18840,
title = {The Cross-environment Hyperparameter Setting Benchmark for Reinforcement Learning},
author = {Andrew Patterson and Samuel Neumann and Raksha Kumaraswamy and Martha White and Adam White},
journal= {arXiv preprint arXiv:2407.18840},
year = {2024}
}
备注
Accepted to RLC 2024