基于集合的Bellman算子不动点与时序博弈纳什均衡的界
计算机科学与博弈论
2021-12-14 v3 最优化与控制
摘要
受马尔可夫决策过程（MDP）和随机博弈中不确定参数的启发，我们在基于集合的框架下研究参数不确定性对Bellman算子算法的影响。具体而言，我们首先考虑一类成本参数位于给定紧集中的MDP；然后定义一个作用于值函数集合的Bellman算子，在成本参数的所有可能变化下产生新的值函数集合作为输出。我们通过证明该基于集合的Bellman算子在完备度量空间上是压缩的，证明其不动点的存在性，并探讨其与相应MDP族和随机博弈的关系。此外，我们表明给定区间集界定的成本参数时，可对该最优值函数集合形成精确界。最后，我们利用所得结果对随机博弈中某玩家的值函数轨迹给出界。
引用
@article{arxiv.2001.07889,
title = {Bounding Fixed Points of Set-Based Bellman Operator and Nash Equilibria of Stochastic Games},
author = {Sarah H. Q. Li and Assalé and Adjé and Pierre-Loïc Garoche and Behçet Açıkmeşe},
journal= {arXiv preprint arXiv:2001.07889},
year = {2021}
}
备注
15 pages, 4 figures