具有压缩模型的在线抽象动态规划
最优化与控制
2021-07-06 v1
摘要
本文研究在线场景下的抽象动态规划(DP),其中抽象DP映射是时变的而非静态的。在此情形下,不同时间时刻的最优代价与策略通常不同,问题等价于跟踪时变最优代价与策略,这对许多实际问题有意义。因此有必要分析经典值迭代(VI)与策略迭代(PI)算法在在线情形下的性能。为此,本文开发并提供了若干在线算法的理论分析,包括近似在线VI、在线PI、近似在线PI、在线乐观PI、近似在线乐观PI,以及异步在线PI与VI算法。证明了所有算法的跟踪误差界关键依赖于任意两个连续抽象映射之间的最大差异。同时给出示例以阐明理论结果。
引用
@article{arxiv.2107.01383,
title = {Online Abstract Dynamic Programming with Contractive Models},
author = {Xiuxian Li and Lihua Xie},
journal= {arXiv preprint arXiv:2107.01383},
year = {2021}
}