Image Chat：基于图像的引人入胜的接地对话

为了实现机器能够与人类进行对话的长期目标，我们的模型应当能够吸引对话伙伴的兴趣。基于图像的交流，即根据给定的照片进行对话，是一种对人类天然具有吸引力的设置（Hu et al., 2014）。在这项工作中，我们针对该目标研究了大规模的架构与数据集。我们使用最先进的图像与文本表示测试了一组神经架构，并考虑了融合各组件的各种方式。为测试此类模型，我们收集了一个接地的人—人对话数据集，其中要求说话者在给定的情绪氛围或风格下扮演特定角色，因为此类特质的使用也是吸引力的关键因素（Guo et al., 2019）。我们的数据集 Image-Chat 包含基于 202k 张图像的 202k 段对话，使用了 215 种可能的风格特质。自动指标与关于吸引度的人类评估显示了我们方法的有效性；特别地，我们在已有的 IGC 任务上取得了 state-of-the-art 性能，且我们性能最佳的模型在 Image-Chat 测试集上几乎与人类表现相当（被偏好比例为 47.7%）。