表格型 MDP 的非渐近间隙相关后悔界
机器学习
2019-10-30 v2 最优化与控制
统计理论
机器学习
统计理论
摘要
本文确立了乐观算法在情节式 MDP 中可获得间隙相关且非渐近的对数后悔。与先前工作相比,我们的界不依赖于类直径量或遍历性,并在间隙相关的对数后悔与 极小极大率之间平滑插值。我们分析中的关键技术是一种新颖的“截断”后悔分解,它适用于广泛一类近期的情节式 MDP 乐观算法。
引用
@article{arxiv.1905.03814,
title = {Non-Asymptotic Gap-Dependent Regret Bounds for Tabular MDPs},
author = {Max Simchowitz and Kevin Jamieson},
journal= {arXiv preprint arXiv:1905.03814},
year = {2019}
}