错误设定下离策略值函数估计的最优近似因子

已知强化学习（RL）中的理论保证会遭受相对于函数近似的错误设定误差的乘性放大因子。然而，此类\emph{近似因子}的本质——尤其是其在给定学习问题中的最优形式——尚知之甚少。本文在线性离策略值函数估计中研究该问题，其中仍存在许多开放问题。我们在广泛的设定中研究近似因子，例如带加权 $L_2$ 范数（权重为离线状态分布）、$L_\infty$ 范数、存在与不存在状态混叠，以及状态空间完全与部分覆盖。我们确立了所有这些设定下的最优渐近近似因子（至多差常数倍）。特别地，我们的界为 $L_2(\mu)$ 范数识别出两个依赖于实例的因子，而为 $L_\infty$ 范数仅识别出一个，它们被证明决定了错误设定下离策略评估的困难程度。