利用凹性、凸性与 Lipschitz 性质求解零和部分可观测随机博弈的 HSVI 方法

Aurélien Delage; Olivier Buffet; Jilles Dibangoye

利用凹性、凸性与 Lipschitz 性质求解零和部分可观测随机博弈的 HSVI 方法

计算机科学与博弈论 2022-11-16 v2 人工智能机器学习

作者: Aurélien Delage , Olivier Buffet , Jilles Dibangoye

摘要

动态规划与启发式搜索是求解序贯决策问题的最先进求解器的核心。在部分可观测或协作环境中（例如 POMDP 和 Dec-POMDP），这需要引入适当的统计量以诱导出完全可观测问题，并对最优值函数给出（凸）逼近的上界。该方法在一些 2 人零和部分可观测随机博弈（zs-POSGs）的子类中也取得了成功，但在一般情形下却失败了，尽管已知其凹性与凸性性质，这些性质仅导致了收敛性保证较差的启发式算法。我们克服了这一问题，利用这些性质推导出有界逼近器以及高效的更新与选择算子，进而受 HSVI 启发推导出原型求解器，该求解器可在有限时间内可证明地收敛到 $\epsilon$ -最优解，并进行了实证评估。这为补充依赖于线性规划或迭代方法的那些方法的一类新颖且有前景的方法家族打开了大门。

关键词

零和部分可观测随机博弈启发式搜索动态规划值函数逼近 HSVI 凹性凸性 Lipschitz 性质

引用

@article{arxiv.2110.14529,
  title  = {HSVI for zs-POSGs using Concavity, Convexity and Lipschitz Properties},
  author = {Aurélien Delage and Olivier Buffet and Jilles Dibangoye},
  journal= {arXiv preprint arXiv:2110.14529},
  year   = {2022}
}

备注

37 pages, 4 figures, 4 tables, 3 algorithms

利用凹性、凸性与 Lipschitz 性质求解零和部分可观测随机博弈的 HSVI 方法

摘要

关键词

引用

备注

相关论文