量化强化学习中的泛化能力
机器学习
2019-07-16 v3 机器学习
摘要
在本文中，我们研究深度强化学习中的过拟合问题。在强化学习最常见的基准中，习惯上使用相同的环境进行训练和测试。这种做法对智能体的泛化能力提供的洞察相当有限。我们通过使用程序生成的环境来构建不同的训练集和测试集来解决此问题。最值得注意的是，我们引入了一个称为 CoinRun 的新环境，作为强化学习泛化的基准。使用 CoinRun，我们发现智能体在相当大的训练集上也会过拟合。然后我们展示更深的卷积架构能改善泛化，传统上用于监督学习的方法也能改善泛化，包括 L2 正则化、dropout、数据增强和批量归一化。
引用
@article{arxiv.1812.02341,
title = {Quantifying Generalization in Reinforcement Learning},
author = {Karl Cobbe and Oleg Klimov and Chris Hesse and Taehoon Kim and John Schulman},
journal= {arXiv preprint arXiv:1812.02341},
year = {2019}
}