NonZero: 基于相互作用引导的多智能体蒙特卡洌树搜索探索
机器学习
2026-05-04 v1
摘要
蒙特卡洌树搜索 (MCTS) 在合作多智能体领域扩展性差，因为扩张必须考虑指数级的联合动作集合，在现实的搜索预算下 severely 限制了探索。我们提出 NonZero，通过运行基于低维非线性表示的仿射导向选择来保持多智能体 MCTS 的可行性，而不是直接探索完整的联合动作空间。我们的探索使用相互作用得分：单智能体偏差按预测收益排序，而两个智能体的偏差则通过混合差异度量评分，这种度量即使没有单个智能体单独提升也能揭示协调收益。我们将候选提议形式化为局部偏差上的 bandit 问题，并推导出 NonZero 提议规则，保证在不枚举联合动作空间的情况下，以亚线性局部遗憾到达近似图局部最优。实验上，NonZero 在 MatGame、SMAC 和 SMACv2 上相对于强大的基于模型的和基于模型自由的基线，在匹配的搜索预算下提高了样本效率和最终性能。
引用
@article{arxiv.2605.00751,
title = {NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search},
author = {Sizhe Tang and Zuyuan Zhang and Mahdi Imani and Tian Lan},
journal= {arXiv preprint arXiv:2605.00751},
year = {2026}
}
备注
Accepted by ICML 2026 as Spotlight