选择性重生：从离线到在线的多智能体强化学习
人工智能
2024-10-31 v2 机器学习
多智能体系统
摘要
强化学习中的“重生(reincarnation)”已被提出，作为在环境中训练智能体时复用以往实验先验计算的形式化方法。在本文中，我们简要探讨了多智能体(MA)语境下的重生范式。我们考虑仅部分智能体被重生、而其他智能体从零开始训练的情形——即选择性重生。在具有异构智能体的完全合作MA设定中，我们证明选择性重生可比完全从零训练获得更高回报，且比完全重生训练收敛更快。然而，在异构系统中选择哪些智能体重生对训练结果至关重要——事实上，糟糕的选择可能导致比替代方案差得多的结果。我们认为此处存在一个丰富的研究领域，并希望我们的努力能催化更多精力，将重生话题引入多智能体领域。
引用
@article{arxiv.2304.00977,
title = {Selective Reincarnation: Offline-to-Online Multi-Agent Reinforcement Learning},
author = {Claude Formanek and Callum Rhys Tilbury and Jonathan Shock and Kale-ab Tessera and Arnu Pretorius},
journal= {arXiv preprint arXiv:2304.00977},
year = {2024}
}
备注
Accepted as oral presentation at Reincarnating Reinforcement Learning workshop at ICLR 2023