折扣设定下 Wang-Foster-Kakade 下界的一个变体
机器学习
2020-11-05 v2 人工智能
机器学习
摘要
最近，Wang 等人 (2020) 展示了在有限时域情形下，具有线性可实现值函数和良好特征覆盖的批量强化学习（RL）的一个高度引人注目的困难性结果。在本注记中，我们表明一旦适配到折扣设定，该构造可简化为一个具有 1 维特征的 2 状态 MDP，使得即使拥有无限量的数据也无法学习。
引用
@article{arxiv.2011.01075,
title = {A Variant of the Wang-Foster-Kakade Lower Bound for the Discounted Setting},
author = {Philip Amortila and Nan Jiang and Tengyang Xie},
journal= {arXiv preprint arXiv:2011.01075},
year = {2020}
}