论探索对强化学习中泛化能力的重要性
机器学习
2023-06-12 v1
摘要
现有提升深度强化学习（RL）泛化能力的方法大多聚焦于表示学习，忽视了探索等 RL 特有方面。我们假设，智能体的探索策略在其泛化至新环境的能力中起着关键作用。通过在表格情境 MDP 中的一系列实验，我们表明探索不仅有助于高效找到训练环境的最优策略，还有助于获取有助于在未见环境中进行决策的知识。基于这些观察，我们提出 EDE：基于分布集成的不确定性探索（Exploration via Distributional Ensemble），一种通过 Q 值分布集成来鼓励探索具有高认知不确定性状态的的方法。我们的算法是首个在 Procgen 和 Crafter 这两个具有高维观测的 RL 泛化基准上同时达到最优性能的价值基方法。开源实现见 https://github.com/facebookresearch/ede 。
引用
@article{arxiv.2306.05483,
title = {On the Importance of Exploration for Generalization in Reinforcement Learning},
author = {Yiding Jiang and J. Zico Kolter and Roberta Raileanu},
journal= {arXiv preprint arXiv:2306.05483},
year = {2023}
}