高效量化协作式多智能体强化学习中个体智能体的重要性

在协作式多智能体强化学习（MARL）中，衡量个体智能体的贡献具有挑战性。在协作式 MARL 中，团队性能通常是从单一的共享全局奖励中推断出来的。可以说，当前有效衡量个体智能体贡献的最佳方法之一是使用 Shapley 值。然而，计算这些值的代价高昂，因为其计算复杂度随智能体数量呈指数增长。在本文中，我们将差异奖励（difference rewards）调整为一种量化个体智能体贡献的高效方法，称为智能体重要性（Agent Importance），其相对于智能体数量具有线性计算复杂度。我们通过实证表明，计算出的值与真实的 Shapley 值以及真实的基础个体智能体奖励（在可用环境中作为地面真值）高度相关。我们展示了如何利用智能体重要性来研究 MARL 系统，诊断先前 MARL 基准测试工作中发现的算法故障。我们的分析表明，智能体重要性是未来 MARL 基准测试中有价值的可解释性组件。