一种评估强化学习中超参数敏感性的方法

现代强化学习算法的性能严重依赖于对日益增长数量的超参数进行调优。通常，超参数的微小变化可能导致性能的剧烈变化，而不同环境需要非常不同的超参数设置才能达到文献中报告的最先进性能。目前我们缺乏一种可扩展且被广泛接受的方法来表征这些复杂的交互。本工作提出了一种新的经验方法，用于研究、比较和量化算法性能对给定一组环境的超参数调优的敏感性。然后我们通过评估几种常用的 PPO 归一化变体的超参数敏感性来展示该方法的效用。结果表明，多种算法性能的提升实际上可能是由于对超参数调优的依赖增加所致。