基于信息瓶颈原理的人与智能体通信研究
人工智能
2022-07-04 v1 计算与语言
摘要
涌现通信研究通常关注优化任务特定效用作为通信的驱动因素。然而，人类语言似乎在高效地将意义压缩为通信信号的压力下演化，通过优化信息瓶颈在信息量和复杂性之间的权衡。在这项工作中，我们研究了权衡这三个因素——效用、信息量和复杂性——如何塑造涌现通信，包括与人类通信的比较。为此，我们提出了向量量化变分信息瓶颈（VQ-VIB），一种训练神经智能体将输入压缩为嵌入连续空间中的离散信号的方法。我们通过 VQ-VIB 训练智能体，并将其性能与先前提出的神经架构在具身环境和 Lewis 指称游戏中进行比较。在所有神经架构和设置中，考虑通信信息量有利于通信收敛速度，而惩罚通信复杂性在保持高效用的同时导致类人的词汇量大小。此外，我们发现 VQ-VIB 优于其他离散通信方法。本工作展示了被认为表征人类语言演化的基本原理如何为人工智能体中的涌现通信提供信息。
关键词
引用
@article{arxiv.2207.00088,
title = {Towards Human-Agent Communication via the Information Bottleneck Principle},
author = {Mycal Tucker and Julie Shah and Roger Levy and Noga Zaslavsky},
journal= {arXiv preprint arXiv:2207.00088},
year = {2022}
}