CURO：面向相对过度泛化的课程学习

相对过度泛化（RO）是一种在协作多智能体任务中可能出现的病态现象，当最优联合动作的效用低于某个次优联合动作时发生。RO会导致智能体陷入局部最优，或无法解决需要在给定时间步内智能体间进行显著协调的协作任务。在本工作中，我们通过实验发现，在多智能体强化学习（MARL）中，基于值和策略梯度的MARL算法都会遭受RO并无法学习有效的协调策略。为更好地克服RO，我们提出一种称为面向相对过度泛化的课程学习（CURO）的新方法。为求解表现出强RO的目标任务，在CURO中，我们首先微调目标任务的奖励函数以生成源任务来训练智能体。然后，为将在一个任务中获得的知识有效迁移到下一个任务，我们使用一种结合值函数迁移与缓冲迁移的迁移学习方法，从而在目标任务中实现更高效的探索。CURO具有通用性，可应用于基于值和策略梯度的MARL方法。我们证明，当应用于QMIX、HAPPO和HATRPO时，CURO能成功克服严重的RO，取得改进的性能，并在多种具有挑战性的协作多智能体任务中优于基线方法。