仅具可实现性条件下的批量值函数近似

我们在批量强化学习（RL）的一个长期存在的问题上取得了进展：使用可实现且其他方面任意的函数类，从具有探索性且大小为多项式的数据集学习 $Q^\star$。事实上，所有现有算法都要求比可现实性更强的函数近似假设，并且越来越多的负面证据导致了一种猜想，即在该设定下样本高效的学习是不可能的（Chen and Jiang, 2019）。我们的算法 BVFT 通过一种锦标赛过程打破了该困难猜想（尽管是在更强的探索性数据概念下），该过程将学习问题归约为成对比较，并借助从被比较函数构造的状态-动作划分来解决后者。我们还讨论了如何将 BVFT 应用于模型选择以及其他扩展和开放问题。