基于核化 Stein 差异的后验核心集构建用于基于模型的强化学习
机器学习
2023-05-05 v2 最优化与控制
机器学习
摘要
基于模型的强化学习（MBRL）方法在实践中表现出良好的性能，但其在大状态空间中的理论保证大多局限于转移模型为高斯或 Lipschitz 的情形，并且需要一种后验估计，其表示复杂度随时间无界增长。本工作中，我们开发了一种新颖的 MBRL 方法：(i) 将目标转移模型的假设放宽至属于一般的混合模型族；(ii) 通过引入压缩步骤使其适用于大规模训练，使得后验估计仅由统计显著的过去状态-动作对构成的贝叶斯核心集组成；以及 (iii) 展现出次线性贝叶斯后悔界。为取得这些结果，我们采用基于 Stein 方法的方法，该方法在所构造后验与目标满足平滑性条件下，允许以核化 Stein 差异（KSD）的闭式评估分布距离。上述压缩步骤随后通过贪心保留那些与先前模型估计的 KSD 距离超过某一阈值的样本来计算。实验上，我们观察到该方法与多种最先进 RL 方法具有竞争力，并且在某些连续控制环境中可实现高达 50% 的挂钟时间缩减。
引用
@article{arxiv.2206.01162,
title = {Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning},
author = {Souradip Chakraborty and Amrit Singh Bedi and Alec Koppel and Brian M. Sadler and Furong Huang and Pratap Tokekar and Dinesh Manocha},
journal= {arXiv preprint arXiv:2206.01162},
year = {2023}
}