用于去中心化 Pomdp 精确有限视界规划的混合整数线性规划
人工智能
2016-03-28 v1
摘要
我们考虑为去中心化 Pomdp (Dec-Pomdp) 的最优有限视界控制寻找 智能体联合策略的问题。这是一个复杂度极高（当 时为 NEXP-hard）的问题。在本文中，我们提出了一种新的数学规划方法来解决该问题。我们的方法基于两个思想：首先，我们以序列形式而非树形式表示每个智能体的策略，从而获得联合策略集的非常紧凑的表示；其次，利用这种紧凑表示，我们将该问题作为组合优化实例进行求解，并为此构建了一个混合整数线性规划 (MILP)。MILP 的最优解直接给出 Dec-Pomdp 的最优联合策略。计算经验表明，与现有算法相比，构建和求解 MILP 求解基准 Dec-Pomdp 问题所需的时间显著减少。例如，视界为 4 的多智能体老虎问题使用 MILP 在 72 秒内即可求解，而现有算法则需要数小时。
引用
@article{arxiv.0707.2506,
title = {Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps},
author = {Raghav Aras and Alain Dutech and François Charpillet},
journal= {arXiv preprint arXiv:0707.2506},
year = {2016}
}