离屏策略评估中非参数 Q 函数估计的适定性及极小极大最优速率

我们研究具有连续状态与动作的无限 horizon（时域）马尔可夫决策过程中的离屏策略评估（off-policy evaluation, OPE）问题。我们将 $Q$ 函数估计重新表述为非参数工具变量（nonparametric instrumental variables, NPIV）估计的一种特殊形式。我们首先证明，在一个温和条件下，$Q$ 函数估计的 NPIV 表述在相对于数据生成分布的 $L^2$ 病态性度量意义下是适定的，从而绕过了近期文献中为获得各类 $Q$ 函数估计量的 $L^2$ 收敛速率而对折扣因子 $\gamma$ 施加的强假设。得益于这一新的适定性质，我们推导出了 $Q$ 函数及其导数在 sup-范数与 $L^2$-范数下非参数估计收敛速率的首次极小极大下界，其被证明与经典非参数回归（Stone, 1982）的相同。随后我们提出一种筛两阶段最小二乘估计量，并在一些温和条件下建立了其在两种范数下的速率最优性。我们关于适定性与极小极大下界的一般结果，对于研究不仅其他 $Q$ 函数的非参数估计量，还有离屏设置下任意目标策略价值的效率估计，均具有独立意义。