内在动机驱动的组合语言涌现

近来，关于人工智能体在模拟环境中交互的涌现通信研究大量涌现。近期研究揭示，总体而言，涌现语言并不遵循自然语言的组合性模式。为此，现有工作提出将有限信道容量作为学习高度组合性语言的重要约束。本文中，我们表明这并非充分条件，并提出了一种内在奖励框架以改善涌现通信中的组合性。我们采用强化学习设定，包含任务感知的说话者与状态感知的倾听者两个智能体，它们需通过通信来完成一组任务。通过在三种不同指称游戏设定（包括一个新颖环境 gComm）上的实验，我们表明内在奖励将组合性分数提升至现有使用有限信道容量框架的约 $\approx \mathbf{1.5-2}$ 倍。