Baird 反例已解决：以如何调试双时间尺度算法为例
机器学习
2023-09-06 v2 人工智能
摘要
Baird 反例由 Leemon Baird 于 1995 年提出，首次用于表明时序差分（TD(0)）算法在该例上发散。此后，它常被用于测试和比较离策略学习算法。梯度 TD 算法解决了 TD 在 Baird 反例上的发散问题。然而，它们在该例上的收敛仍然非常缓慢，且这种缓慢的本质尚不清楚，例如见（Sutton 和 Barto 2018）。本札记旨在特别理解为何 TDC 在该例上缓慢，并提供调试分析以理解此行为。我们的调试技术可用于研究双时间尺度随机近似算法的收敛行为。我们还给出了近期 Impression GTD 算法在该例上的实证结果，显示其收敛非常快，事实上以线性速率收敛。我们得出结论：Baird 反例已被解决，由一种算法在一般情况下对 TD 解具有收敛保证且收敛速率快而实现。
引用
@article{arxiv.2308.09732,
title = {Baird Counterexample is Solved: with an example of How to Debug a Two-time-scale Algorithm},
author = {Hengshuai Yao},
journal= {arXiv preprint arXiv:2308.09732},
year = {2023}
}