悲观主义在固定数据集策略优化中的重要性
人工智能
2020-12-01 v3 机器学习
摘要
我们研究固定数据集策略优化算法在期望回报上的最坏情况保证。我们的核心贡献是一个用于研究该范式下算法的统一概念与数学框架。该分析揭示，对于朴素方法，价值高估错误的可能性导致一个难以满足的要求：为保证我们选出近似最优的策略，可能需要数据集对每一个策略的价值都具有信息性。为避免这一点，算法可遵循悲观原则，即应选择在最坏可能世界中表现最优的策略。我们说明了为何悲观算法即使数据集并非对每一策略都具有信息性时也能取得良好性能，并推导出遵循该原则的一系列算法。这些理论发现在表格化网格世界以及四个 MinAtar 环境下的深度学习实验中得到验证。
引用
@article{arxiv.2009.06799,
title = {The Importance of Pessimism in Fixed-Dataset Policy Optimization},
author = {Jacob Buckman and Carles Gelada and Marc G. Bellemare},
journal= {arXiv preprint arXiv:2009.06799},
year = {2020}
}