当猪飞起来：合成与自然场景中的上下文推理
计算机视觉与模式识别
2021-08-12 v2 人工智能
摘要
上下文对人类视觉和机器视觉都至关重要；例如，空中物体更可能是飞机而非猪。丰富的上下文概念包含多个方面，包括物理规则、统计共现以及相对物体大小等。虽然先前工作聚焦于从网络收集的众包脱离上下文照片以研究场景上下文，但控制上下文违背的性质与程度一直是一项艰巨任务。在此我们引入一个多样化的合成脱离上下文数据集（OCD），可对场景上下文进行细粒度控制。通过利用 3D 仿真引擎，我们在虚拟家庭环境中系统性地控制 36 个物体类别的重力、物体共现与相对大小。我们开展了一系列实验，以借助 OCD 深入认识上下文线索对人类和机器视觉的影响。我们进行了心理物理学实验以建立脱离上下文识别的人类基准，随后将其与最先进的计算机视觉模型比较，量化两者间的差距。我们提出了一种上下文感知识别 transformer 模型，通过多头注意力融合物体与上下文信息。我们的模型捕获了用于上下文推理的有用信息，在 OCD 及其他脱离上下文数据集上实现了类人水平性能，并相较基线模型在脱离上下文条件下具有更好鲁棒性。所有源代码与数据公开于 https://github.com/kreimanlab/WhenPigsFlyContext
引用
@article{arxiv.2104.02215,
title = {When Pigs Fly: Contextual Reasoning in Synthetic and Natural Scenes},
author = {Philipp Bomatter and Mengmi Zhang and Dimitar Karev and Spandan Madan and Claire Tseng and Gabriel Kreiman},
journal= {arXiv preprint arXiv:2104.02215},
year = {2021}
}
备注
International Conference on Computer Vision (ICCV), 2021