MALinZero：掌握复杂多智能体规划的高效低维搜索

蒙特卡洛树搜索（MCTS）通过利用树上置信上界（UCTs）在随机抽样中平衡探索与开发，对解决复杂规划问题至关重要。然而，在多智能体规划中，MCTS面临的动作空间呈指数级增长，导致树的分支因子也呈指数级增加，使其在树搜索中难以有效探索和开发。为此，我们提出MALinZero，一种利用联合动作回报的低维表示结构，以实现复杂多智能体规划中的高效MCTS。我们的解决方案可视为将联合动作回报投影到可使用情境线性臂带问题公式表示的低维空间中。我们通过具有凸性和$\mu$光滑损失函数的情境线性臂带问题进行求解——为在更好的联合动作上赋予更高重要性，同时缓解潜在的表示局限性——并推导出应用于树木的线性置信上界（LinUCT），以在低维空间中实现新的多智能体探索与开发。我们分析了MALinZero在低维奖励函数下的 regret，并提出一种针对联合动作选择的$(1-\tfrac1e)$-近似算法，通过最大化亚调和目标实现。MALinZero在多智能体基准测试（如矩阵游戏、SMAC和SMACv2）上表现出领先于模型基和无模型多智能体强化学习基线的优越性能，学习速度更快，性能更好。