结构未知的因子化 MDP 中预言机高效的遗憾最小化
机器学习
2021-10-12 v4 机器学习
摘要
我们研究非分段因子化马尔可夫决策过程（FMDPs）中的遗憾最小化问题，现有所有算法都强假设 FMDP 的因子化结构事先为学习者所知。本文给出首个在学习 FMDP 结构的同时最小化遗憾的算法。我们的算法基于面对不确定性时的乐观原则，结合一种简单的结构学习统计方法，并且在给定对 FMDP 规划器的预言机访问时可得以高效实现。此外，我们给出了算法的一个变体，即使预言机仅限于非因子化动作（几乎所有现有近似规划器的情况）仍保持高效。最后，我们利用所提技术证明了已知结构情形下的一个新下界，缩小了与 Chen 等人 [2021] 遗憾界的差距。
引用
@article{arxiv.2009.05986,
title = {Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure},
author = {Aviv Rosenberg and Yishay Mansour},
journal= {arXiv preprint arXiv:2009.05986},
year = {2021}
}
备注
NeurIPS 2021