基于聚类的转移独立MDP控制

本文研究转移独立马尔可夫决策过程（TI-MDP）的基于聚类的控制策略的高效求解方法。我们关注多智能体系统的控制，其中中央规划器（CP）影响智能体选择期望的群体行为。智能体被划分为互不相交的聚类，同一聚类中的智能体接收相同的控制，而不同聚类中的智能体可接收不同的控制。在温和假设下，该过程可建模为TI-MDP，其中每个因子描述一个聚类的的行为。TI-MDP的动作空间相对于聚类数量呈指数增长。为在该快速扩张的空间中高效寻找策略，我们提出一种聚类贝尔曼算子，其在任意评估时仅针对一个聚类的动作空间进行优化。我们提出聚类值迭代（CVI），该算法利用此算子跨聚类迭代地执行“轮询”优化。CVI比标准值迭代（VI）收敛速度快指数倍，且能找到紧密逼近MDP真实最优值的策略。我们研究了一类具有可分离奖励函数的特殊TI-MDP，并证明CVI在此类问题上能找到最优策略。最后，探讨了最优聚类分配问题。具有次模奖励函数的TI-MDP的值函数被证明为次模函数，因此可使用次模集合优化寻找近似最优的聚类分配。我们提出一种迭代贪心聚类分裂算法，其在每次迭代中产生值的单调次模改进。最后，仿真对所提方法进行了实证评估。