多智能体游戏中语言的出现：学习用符号序列进行通信
机器学习
2017-11-07 v2 计算与语言
计算机视觉与模式识别
多智能体系统
摘要
通过交互而非依赖显式监督来学习通信，常被视为发展通用 AI 的先决条件。我们研究了一种设定：两个智能体参与玩一个指称游戏，并从零开始发展出在该游戏中成功所需的通信协议。与先前工作不同，我们要求它们在训练与测试时交换的消息均为语言形式（即离散符号序列）。我们比较了强化学习方法与使用可微松弛（直通 Gumbel-softmax 估计器）的方法，观察到后者收敛快得多，并产生更有效的协议。有趣的是，我们还观察到通过优化通信成功而诱导出的协议展现出一定程度的组合性与可变性（即同一信息可用不同方式表述），这两者均为自然语言的特性。由于最终目标是确保以自然语言完成通信，我们还进行了将自然语言先验信息注入模型并研究所得协议性质的实验。
引用
@article{arxiv.1705.11192,
title = {Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbols},
author = {Serhii Havrylov and Ivan Titov},
journal= {arXiv preprint arXiv:1705.11192},
year = {2017}
}
备注
The paper was accepted at NIPS 2017. The extended abstract was presented at ICLR 2017 workshop track