你明白我的意思吗？语言歧义的视觉消解

理解语言与整合通过感知获得的复杂上下文信息的能力密不可分。在这项工作中，我们提出了一个基于 grounding 的语言理解（grounded language understanding）新任务：给定描绘该句子可能解释之一的视觉场景，对句子进行消歧。为此，我们引入了一个新的多模态语料库，包含代表广泛句法、语义和语篇歧义的歧义句子，并配有可视化每个句子不同解释的视频。我们通过扩展一个判定视频是否描绘了某句子的视觉模型来解决此任务。我们展示了如何调整此类模型以识别同一底层句子的不同解释，从而允许跨不同歧义类型以统一方式对句子消歧。