涌现语言的表达力是语境复杂性与不可预测性之间的权衡
计算与语言
2022-03-17 v2
摘要
研究者正使用深度学习模型探索各种语言博弈中语言的涌现，其中智能体通过交互并发展出涌现语言来解决任务。我们关注决定涌现语言表达力的因素，表达力反映了这些语言能够编码关于输入空间的信息量。我们基于跨不同博弈的泛化表现来衡量涌现语言的表达力，并证明涌现语言的表达力是其涌现所处语境的复杂性与不可预测性之间的权衡。本工作的另一贡献是发现了消息类型坍缩，即唯一消息数少于输入数。我们还表明使用 Chen 等人（2020）提出的对比损失可缓解此问题。
引用
@article{arxiv.2106.03982,
title = {Expressivity of Emergent Language is a Trade-off between Contextual Complexity and Unpredictability},
author = {Shangmin Guo and Yi Ren and Kory Mathewson and Simon Kirby and Stefano V. Albrecht and Kenny Smith},
journal= {arXiv preprint arXiv:2106.03982},
year = {2022}
}
备注
22 pages, 12 figures, 5 tables