TDprop：Jacobi 预条件处理是否有助于时序差分学习？

我们研究了在时序差分（TD）学习中考虑 bootstrap 项的 Jacobi 预条件处理是否能帮助提升自适应优化器的性能。我们的方法 TDprop 基于 TD 更新规则的对角预条件计算逐参数学习率。我们展示了如何将其用于 $n$ 步回报与 TD($\lambda$)。我们的理论发现表明，若通过超参数搜索为两者找到最优学习率，则包含这一额外预条件信息出人意料地与普通半梯度 TD 相当。在使用 Expected SARSA 的深度强化学习实验中，在近最优学习率下，TDprop 在所有测试游戏中的表现达到或超过 Adam，但调优良好的 SGD 也能产生类似改进——这与我们的理论一致。我们的发现表明，Jacobi 预条件处理可能改进深度强化学习中典型的自适应优化方法，但尽管融入了来自 TD bootstrap 项的额外信息，却未必总是优于 SGD。