应计算时间差分不动点还是最小化贝尔曼残差？统一的斜投影视角
人工智能
2010-11-22 v1
摘要
在马尔可夫决策过程背景下，我们研究了用于评估策略值函数线性近似的投影方法。我们考虑了两种流行的方法：单步时间差分不动点计算（TD(0)）和贝尔曼残差（BR）最小化。我们描述了每种方法优于另一种的例子。我们强调了它们所最小化的目标函数之间的简单关系，并表明虽然BR具有性能保证，但TD(0)通常不具备。随后，我们提出了一种基于贝尔曼方程斜投影的统一视角，这实质上简化化并扩展了(schoknecht, 2002)的特征刻画以及(Yu & Bertsekas, 2008)的近期分析。最后，我们描述了一些仿真实验，结果表明尽管TD(0)解通常略优于BR解，但其固有的数值不稳定性使其在某些情况下表现极差，因此平均而言更差。
引用
@article{arxiv.1011.4362,
title = {Should one compute the Temporal Difference fix point or minimize the Bellman Residual? The unified oblique projection view},
author = {Bruno Scherrer},
journal= {arXiv preprint arXiv:1011.4362},
year = {2010}
}