多智能体强化学习中用于合作的课程学习
人工智能
2023-12-20 v1 机器学习
多智能体系统
摘要
尽管在单智能体强化学习领域，课程学习与连续学习在训练智能体泛化至多种环境方面已取得显著进展，但尚不清楚这些算法在多智能体环境中是否依然有效。在竞争环境中，可以通过让学习智能体与技能水平逐渐提高的对手课程进行竞争来训练它。然而，一个通用智能智能体也应学会在其他智能体周围行动并与它们合作以实现共同目标。在与其他智能体合作时，学习智能体必须 (a) 学习如何执行任务（或子任务），以及 (b) 提高整体团队奖励。在本文中，我们旨在回答以下问题：学习智能体应与何种类型的合作队友以及队友课程一起训练，才能实现这两个目标。我们在 Overcooked 游戏上的结果表明，技能较弱的预训练队友是获得整体团队奖励的最佳队友，但不利于该智能体的学习。此外，令人惊讶的是，技能水平递减的队友课程表现优于其他类型的课程。
关键词
引用
@article{arxiv.2312.11768,
title = {Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning},
author = {Rupali Bhati and Sai Krishna Gottipati and Clodéric Mars and Matthew E. Taylor},
journal= {arXiv preprint arXiv:2312.11768},
year = {2023}
}
备注
9 pages, 5 figures. Presented at Agent Learning in Open-Endedness Workshop at Neural Information Processing Systems (NeurIPS 2023)