评估多智能体强化学习在可变智能体数量下的泛化与迁移能力

多智能体强化学习（MARL）问题常需智能体间协作以完成任务。集中化与去中心化是 MARL 中用于协作的两种途径。完全去中心化方法因部分可观测性和非平稳性而易收敛到次优解，而涉及集中化的方法则受限于可扩展性与懒惰智能体问题。集中训练去中心执行范式兼具二者之长；然而，集中训练在可扩展性上仍有上限，不仅体现在所获协调性能，也体现在模型规模与训练时间。本工作中，我们采用集中训练去中心执行范式，并研究训练模型在可变智能体数量下的泛化与迁移能力。该能力通过在特定 MARL 问题中训练可变数量的智能体，随后对每种训练配置使用可变数量智能体进行贪婪评估来评定。由此，我们分析训练与评估所用智能体数量每种组合下的评估性能。我们在捕食者-猎物与交通路口环境中进行实验评估，表明以较少智能体训练可获得相似或更高的评估性能。我们得出结论：执行训练的最优智能体数量可能不同于目标智能体数量，并主张跨大量智能体的迁移可比为训练直接增加智能体数量更高效的扩展方案。