至关重要的深度强化学习
机器学习
2019-01-31 v3 机器学习
摘要
近年来，利用深度强化学习 (RL) 在各个领域解决挑战性问题取得了重大进展。复现现有工作并准确评估新方法带来的改进，对于维持这一进展至关重要。然而不幸的是，复现最先进的深度 RL 方法的结果往往并非易事。特别是，标准基准环境中的非确定性以及方法本身固有的方差，会使报告的结果难以解释。如果没有显著性指标和更严格的实验报告标准化，就很难判断相对于先前最先进方法的改进是否有意义。在本文中，我们研究了可复现性、正确的实验技术和报告程序所带来的挑战。我们展示了在与常见基线进行比较时报告指标和结果的变异性，并提出了使未来深度 RL 结果更具可复现性的指南。我们旨在引发讨论，探讨如何通过减少由不可复现和易被误解的结果所造成的精力浪费，来确保该领域的持续进步。
引用
@article{arxiv.1709.06560,
title = {Deep Reinforcement Learning that Matters},
author = {Peter Henderson and Riashat Islam and Philip Bachman and Joelle Pineau and Doina Precup and David Meger},
journal= {arXiv preprint arXiv:1709.06560},
year = {2019}
}
备注
Accepted to the Thirthy-Second AAAI Conference On Artificial Intelligence (AAAI), 2018