可证明且实用：基于朗之万蒙特卡洛的强化学习高效探索
机器学习
2024-03-19 v2
摘要
我们提出了一种基于 Thompson 采样的可扩展且高效的强化学习（RL）探索策略。现有 Thompson 采样算法的关键缺陷之一是需要对后验分布进行高斯近似，而在大多数实际设置中这并非良好的替代。我们转而通过使用朗之万蒙特卡洛（一种高效的马尔可夫链蒙特卡洛（MCMC）方法）直接从 Q 函数的后验分布中采样。我们的方法只需执行带噪声的梯度下降更新来学习 Q 函数的精确后验分布，这使得我们的方法易于部署于深度 RL 中。我们对所提方法提供了严格的理论分析，并证明在线性马尔可夫决策过程（线性 MDP）设定下，其 regret 界为 ，其中 为特征映射的维度， 为规划时域， 为总步数。我们将此方法应用于深度 RL，使用 Adam 优化器执行梯度更新。在 Atari57 测试套件的若干具有挑战性的探索任务上，我们的方法取得了优于或媲美最先进深度 RL 算法的结果。
引用
@article{arxiv.2305.18246,
title = {Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo},
author = {Haque Ishfaq and Qingfeng Lan and Pan Xu and A. Rupam Mahmood and Doina Precup and Anima Anandkumar and Kamyar Azizzadenesheli},
journal= {arXiv preprint arXiv:2305.18246},
year = {2024}
}
备注
Published in The Twelfth International Conference on Learning Representations (ICLR) 2024