PTR：一个面向基于部件的概念、关系与物理推理的基准

人类视觉感知的一个关键方面是能够将视觉场景解析为独立对象并进一步解析为对象部件，形成部分-整体层次结构。这种复合结构可引发丰富的语义概念与关系集合，从而在视觉信号的解释与组织以及视觉感知与推理的泛化中发挥重要作用。然而，现有视觉推理基准大多关注对象而非部件。基于完整部分-整体层次的视觉推理比以对象为中心的推理更具挑战性，因为其涉及更细粒度的概念、更丰富的几何关系以及更复杂的物理。因此，为了更好地服务于基于部件的概念、关系与物理推理，我们引入了一个名为PTR的新大规模诊断性视觉推理数据集。PTR包含约70k张RGBD合成图像，带有关于语义实例分割、颜色属性、空间与几何关系以及稳定性等特定物理属性的对象和部件级真值标注。这些图像与70万机器生成的问题配对，涵盖各类推理类型，使其成为视觉推理模型的良好测试平台。我们在该数据集上考察了若干最先进的视觉推理模型，观察到它们在人类可轻易推断正确答案的情况下仍会犯许多令人意外的错误。我们相信该数据集将为基于部件的推理开辟新机遇。