线性函数近似下的离线强化学习中固有 Bellman 误差的作用

本文研究了使用 linear function approximation 的 offline RL problem。我们的主要结构假设是 MDP 具有 low inherent Bellman error，即 linear value functions 对 greedy policy 的 Bellman backups 是 linear 的。这一假设是自然的，因为它本质上是 value iteration 成功所必需的 minimal assumption。我们给出一种 computationally efficient 算法，在 single-policy coverage 条件下成功，即输出的 policy 的 value 至少等于 any policy 的 value，而后者被 dataset well-covered。即使在 inherent Bellman error 为 0 的情况下（称为 linear Bellman completeness），我们的算法也给出了已知唯一的 guarantee。在 inherent Bellman error 为正值 ${\varepsilon_{\mathrm{BE}}} > 0$ 的情况下，我们表明 our algorithm 的 suboptimality error 按 $\sqrt{\varepsilon_{\mathrm{BE}}}$ 规模。此外，我们证明 $\sqrt{\varepsilon_{\mathrm{BE}}}$ 的规模对 any algorithm 来说不可被改进。我们的 lower bound 与 reinforcement learning 中许多其他设置的结果形成鲜明对比，在 those settings 中，通常可以获得随 misspecification error 线性退化的性能。