通过简单的架构变化和规模提升在 ProcGen 基准上改进泛化能力
机器学习
2024-10-18 v2
摘要
我们展示，结合近期强化学习（RL）进展与简单的架构变化，显著改进了在 ProcGen 基准测试上的泛化能力。这些变化包括帧堆叠、将二维卷积层替换为三维卷积层，以及扩大每层卷积核的数量。使用单一套超参数在所有环境中进行实验，结果显示相对于基线（从 0.58 降至 0.36）的优化间隙降低 37.9%。该性能匹配或超过当前最先进的方法。所提出的变化大体上是正交且 therefore 与现有改进强化学习泛化能力的方法互为补充，我们的结果表明，这一方向的进一步探索可能在解决深度强化学习中泛化挑战方面产生显著性的改进。
关键词
引用
@article{arxiv.2410.10905,
title = {Improving Generalization on the ProcGen Benchmark with Simple Architectural Changes and Scale},
author = {Andrew Jesson and Yiding Jiang},
journal= {arXiv preprint arXiv:2410.10905},
year = {2024}
}