针对扰动观测势博弈和去中心化POMDP的过滤虚拟博弈
计算机科学与博弈论
2012-02-20 v1 人工智能
摘要
势博弈和去中心化部分可观测MDP（Dec-POMDPs）是两种常用的多智能体交互模型，分别用于静态优化和序列决策设定。在本文中，我们引入了过滤虚拟博弈来解决重复势博弈，其中每个玩家对其他玩家动作的观测受到随机噪声干扰，并使用该算法构建了求解Dec-POMDPs的在线学习方法。具体来说，我们证明观测中的噪声阻止标准虚拟博弈在势博弈中收敛到纳什均衡，这也使得虚拟博弈不适用于求解Dec-POMDPs。为了解决这个问题，我们推导了过滤虚拟博弈，并给出了其在带噪声观测的势博弈中收敛到纳什均衡的条件。然后，我们使用过滤虚拟博弈构建了Dec-POMDPs的求解器，并在推箱子问题中展示了我们新算法的性能。我们的结果表明，在观测函数的噪声范围内，我们平均比最先进的Dec-POMDP求解器性能提升100%。
引用
@article{arxiv.1202.3705,
title = {Filtered Fictitious Play for Perturbed Observation Potential Games and Decentralised POMDPs},
author = {Archie C. Chapman and Simon A. Williamson and Nicholas R. Jennings},
journal= {arXiv preprint arXiv:1202.3705},
year = {2012}
}