了解你的听众：利用听众减法使接地语言模型专门化

有效的沟通需要适应每个交际语境的特殊性——例如与每个伙伴共享的共同基础。人类在许多语境中展现出这种针对听众专门化的能力，例如流行的游戏 Dixit。我们从 Dixit 获得灵感，构建了一个多智能体图像指称游戏，其中（训练好的）说话者模型因描述目标图像而获得奖励，使得一个（预训练的）听众模型能在干扰项中正确识别它，而另一个听众不能。为适应，说话者必须利用它与不同听众所共享知识之间的差异。我们表明，在此对比式多智能体设定下，微调 CLIP 视觉编码器与大型语言模型之间的基于注意力的适配器，仅从奖励中（无需直接监督）即可产生依赖语境的自然语言专门化。通过受控实验，我们表明使用我们的方法，以两个感知不同的听众训练说话者，可使说话者适应听众的特殊性。此外，我们展示了该专门化向真实世界数据的零样本迁移。我们的实验展示了一种无需直接监督即可使接地语言模型专门化的方法，并凸显了复杂多智能体沟通所带来的有趣研究挑战。