时序差分类方法收敛所需的特征条件

许多具有线性函数逼近的强化学习（RL）算法的收敛性已被广泛研究，但大多数证明都假设这些方法收敛到唯一解。在本文中，我们给出了大类强化学习算法非唯一性问题的完整刻画，同时在一个理论框架中统一了许多反例以说明其不收敛性。我们通过证明一个关于特征的新条件来实现这一点，该条件能够判断收敛假设是否成立或非唯一性是否出现。我们考虑一类通用的RL方法，称之为自然算法（natural algorithms），其解被刻画为投影贝尔曼方程（当存在时）的不动点；值得注意的是，基于自举时序差分的诸如 $TD(\lambda)$ 和 $GTD(\lambda)$ 的方法都是自然算法。我们的主要结果证明，自然算法收敛到正确解当且仅当逼近空间中的所有值函数满足某种形状。这意味着自然算法通常天生容易在大多数特征选择下收敛到错误解，即使值函数可以被精确表示。基于我们的结果，我们表明基于状态聚合的特征是自然算法的安全选择，并且我们还给出了在其他特征构造下寻找收敛算法的条件。