基于不确定输入的真实场景问答的多世界方法

我们提出了一种通过结合自然语言处理和计算机视觉的最新进展来自动回答关于图像问题的方法。我们将离散推理与不确定预测相结合，采用一种多世界方法，该方法在贝叶斯框架中表示对感知世界的不确定性。我们的方法能够处理关于真实场景的高复杂度人类问题，并回复一系列答案，如计数、物体类别、实例及其列表。该系统直接通过问答对进行训练。我们为此任务建立了首个基准，可视为对视觉图灵测试的现代尝试。