HSVI 可求解零和部分可观测随机博弈
人工智能
2022-10-27 v1
摘要
求解二人零和不完美信息博弈的最先进方法依赖线性规划或遗憾最小化，而非动态规划（DP）或启发式搜索（HS），尽管后者通常是其他序列决策问题最先进求解器的核心。在部分可观测或协作设定（例如 POMDP 和 Dec-POMDP）中，DP 和 HS 需要引入一个适当的统计量以导出一个完全可观测的问题，以及最优值函数的有界（凸）近似器。该方法在二人零和部分可观测随机博弈（zs-POSG）的某些子类中也取得了成功，但如何将其应用于一般情况仍是一个开放问题。我们通过以下方式回答了这一问题： 严格定义一个等价博弈以进行处理； 证明最优值函数的数学性质，从而允许推导出附带求解策略的界限； 首次提出一种类 HSVI 求解器，并证明其能在有限时间内收敛至 -最优解； 对其进行实证分析。这为补充依赖线性规划或迭代方法的技术开辟了一类极具前景的新方法。
引用
@article{arxiv.2210.14640,
title = {HSVI can solve zero-sum Partially Observable Stochastic Games},
author = {Aurélien Delage and Olivier Buffet and Jilles S. Dibangoye and Abdallah Saffidine},
journal= {arXiv preprint arXiv:2210.14640},
year = {2022}
}
备注
42 pages, 2 algorithms. arXiv admin note: substantial text overlap with arXiv:2110.14529