重新思考部分可观测多智能体决策的形式化模型
人工智能
2021-09-29 v4 计算机科学与博弈论
摘要
部分可观测环境中的多智能体决策通常被建模为博弈论中的扩展式博弈（EFG）或多智能体强化学习（MARL）中的部分可观测随机博弈（POSG）。当前状况的一个问题是，尽管大多数实际问题可以用两种形式化体系建模，但两种模型之间的关系尚不清晰，这阻碍了两个社群之间的思想迁移。第二个问题是，尽管 EFG 近期在算法上取得了显著进展，但其经典形式化并不适合高效地呈现底层思想，例如围绕分解的思想。为解决第一个问题，我们引入了因子化观测随机博弈（FOSG），这是对 POSG 形式化体系的一个微小修改，它区分了私有观测与公共观测，从而极大地简化了分解。为弥补第二个问题，我们展示了 FOSG 和 POSG 与 EFG 的自然联系：通过将 FOSG “展开”为其树形式，我们得到一个 EFG。反之，任何完美回忆、可计时的 EFG 都以这种方式对应于某个底层 FOSG。此外，这种关系为近期作为对模型分解问题的隐性回应而出现的对经典 EFG 形式化体系的若干微小修改提供了合理性论证。最后，我们通过在 FOSG 框架中呈现三项关键的 EFG 技术——反事实遗憾最小化、序列形式与分解——来阐明 EFG 与 MARL 之间的思想迁移。
引用
@article{arxiv.1906.11110,
title = {Rethinking Formal Models of Partially Observable Multiagent Decision Making},
author = {Vojtěch Kovařík and Martin Schmid and Neil Burch and Michael Bowling and Viliam Lisý},
journal= {arXiv preprint arXiv:1906.11110},
year = {2021}
}
备注
A 2020 update of the original 2019 version of the paper. (Rewrote the main text and clarified the relationship between FOSGs/POSGs and EFGs. Some of the technical results are now presented in the appendix.)