通过层次化对手建模与规划实现混合动机环境中的高效适应
人工智能
2024-07-15 v2 多智能体系统
摘要
尽管多智能体强化学习（MARL）算法近期取得了成功，但在混合动机环境中高效适应合作伙伴仍然是一个重大挑战。一种可行的方法是基于推断其特征来对合作伙伴的行为进行层次化建模。然而，这些方法常常在高效推理和利用推断信息方面遇到困难。为了解决这些问题，我们提出了层次化对手建模与规划（HOP），这是一种新的多智能体决策算法，使其能够在混合动机环境中对未见策略进行零样本适应。HOP 由两个模块组成：一个对手建模模块推断他人的目标并学习相应的目标条件策略，一个规划模块使用蒙特卡洛树搜索（MCTS）来识别最佳应对方案。我们的方法通过在episode内外更新对他人目标的信念，并利用对手建模模块的信息来指导规划，从而提高了效率。实验结果表明，在混合动机环境中，HOP 在与各种未见智能体交互时展现出卓越的零样本适应能力，并在自我对弈场景中表现出色。此外，实验中的社交智能的出现凸显了该方法在复杂多智能体环境中的潜力。
引用
@article{arxiv.2406.08002,
title = {Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning},
author = {Yizhe Huang and Anji Liu and Fanqi Kong and Yaodong Yang and Song-Chun Zhu and Xue Feng},
journal= {arXiv preprint arXiv:2406.08002},
year = {2024}
}
备注
Accepted at ICML 2024