不要只听，运用你的想象：利用视觉常识处理非视觉任务

当今的人工代理可以回答事实性问题。但在需要常识推理的问题上它们表现不足。或许这是因为大多数现有常识数据库依赖文本来学习和表示知识。但许多常识知识未被写下——部分因为它往往不够有趣而不被谈及，部分因为某些常识用文本表达不自然。虽未写下，却非未见。在本文中，我们利用从图像学习的语义常识知识——即视觉常识——用于两个文本任务：填空和视觉释义。我们提议“想象”文本背后的场景，并在回答这些问题时除了文本线索外还利用“想象”场景的视觉线索。我们将场景想象为视觉抽象。我们的方法在这些任务上优于强大的纯文本基线。我们提出的任务可作为基准定量评估在“超越识别”任务上的进展。我们的代码和数据集公开可用。