论测量涌现通信的陷阱
机器学习
2019-03-14 v1 人工智能
计算与语言
机器学习
摘要
我们如何知道多智能体系统中是否正在涌现通信?近期关于涌现通信的绝大多数论文表明,增加通信信道会带来奖励或任务成功率的提升。这是一个有用的指标,但仅能提供对智能体所学通信能力的粗略度量。随着我们迈向更复杂的环境,亟需一套更精细的工具,以对通信的涌现进行定性与定量洞察。这对于让人类监控智能体行为可能尤为有用,无论是为了故障检测、评估性能,还是建立信任。本文考察了几种直观的现有通信度量指标,并表明它们可能产生误导。具体而言,通过训练深度强化学习智能体游玩带有通信信道的简单矩阵博弈,我们发现了一种场景:智能体看似在通信(其消息提供了关于后续动作的信息),但消息却不以任何方式影响环境或其他智能体。我们通过消融实验和可视化所学策略的表征来解释这一现象。我们还调研了一些常用的涌现通信度量指标,并就这些指标应在何时使用给出建议。
引用
@article{arxiv.1903.05168,
title = {On the Pitfalls of Measuring Emergent Communication},
author = {Ryan Lowe and Jakob Foerster and Y-Lan Boureau and Joelle Pineau and Yann Dauphin},
journal= {arXiv preprint arXiv:1903.05168},
year = {2019}
}
备注
AAMAS 2019. 13 pages