迈向多智能体系统中真正的无损稀疏通信

通信使智能体能够合作以实现其目标。学习何时通信（即时间上的稀疏通信）以及向谁发送消息在带宽受限时尤为重要。然而，近期在学习稀疏个性化通信方面的工作在训练过程中存在高方差问题，减少通信以降低奖励为代价，在合作任务中尤为如此。我们使用信息瓶颈将稀疏性重新表述为表示学习问题，并表明这自然能在比现有方法更低的预算下实现无损稀疏通信。在本文中，我们提出了一种通过信息最大化门控稀疏多智能体通信 (IMGS-MAC) 实现通信中真正无损稀疏性的方法。我们的模型使用两个个性化正则化目标——一个信息最大化自编码器和一个稀疏通信损失——来创建信息丰富且稀疏的通信。我们通过对非稀疏运行中消息的直接因果分析来评估学习到的通信“语言”，以确定允许零样本稀疏性的无损稀疏预算范围，以及会带来奖励损失的稀疏预算范围，后者通过我们学习到的门控函数在少样本稀疏性下使奖励损失最小化。为了证明我们结果的有效性，我们在通信对成功至关重要的合作多智能体任务中进行了实验。我们使用连续和离散消息对模型进行评估。我们将分析重点放在各种消融实验上，以展示消息表示（包括其属性）的效果以及模型的无损性能。