论涌现通信在多智能体强化学习中的社会学习作用
机器学习
2023-03-01 v1 人工智能
多智能体系统
摘要
人类之间的显式通信是协调与学习的关键。社会学习利用来自专家的线索，可以极大地受益于使用显式通信来对齐异构策略、降低样本复杂度并解决部分可观测任务。涌现通信作为一种显式通信，研究直接从数据中创建人工语言以编码具有高任务效用信息的过程。然而，在大多数情况下，涌现通信发送的信息压缩不足，包含极少或零信息，且第三方监听者可能无法理解。本文提出了一种基于信息瓶颈的无监督方法，以捕获指称复杂性和特定任务效用，从而充分探索多智能体强化学习 (MARL) 中的稀疏社会通信场景。我们表明，我们的模型能够：i) 开发一种受自然语言启发的消息词典，该词典由一组涌现概念独立组成，这些概念以最少的比特跨越观测和意图；ii) 开发通信以对齐具有不同特征模型的异构智能体的动作策略；iii) 通过观察专家的动作策略来学习通信策略，我们将其称为“社会跟随”。
引用
@article{arxiv.2302.14276,
title = {On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning},
author = {Seth Karten and Siva Kailas and Huao Li and Katia Sycara},
journal= {arXiv preprint arXiv:2302.14276},
year = {2023}
}
备注
14 pages, 5 figures