利用文本预测行为动机

理解人类行为是计算机视觉中的一个关键问题。然而，识别行为仅是理解人类正在做什么的第一步。在本文中，我们提出了预测图像中人物执行某行为原因的问题。该问题在人类活动理解中具有诸多应用，例如行为预判或行为解释。为研究此问题，我们引入了一个包含人物执行行为及其可能动机标注的新数据集。然而，仅凭图像中的信息可能不足以自动解决此任务。由于人类可以依靠其一生的经验来推断动机，我们提出利用最近开发的自然语言模型挖掘海量文本中存储的知识，从而使计算机视觉系统能够获取部分此类经验。尽管我们距离完全理解动机仍有很大差距，但我们的结果表明，将语言知识迁移到视觉领域有助于机器理解图像中人物执行某行为的原因。