重访积木世界：自遮挡对卷积神经网络分类的影响

尽管计算机视觉近期取得诸多成功，仍有新的途径有待探索。在本工作中，我们提出一个新数据集以研究自遮挡对深度神经网络的影响。通过 TEOS（The Effect of Self-Occlusion，自遮挡效应），我们提出一个聚焦于 3D 物体几何形状及其普遍存在的自遮挡挑战的 3D 积木世界数据集。我们设计 TEOS 以在物体分类背景下研究自遮挡的作用。尽管物体分类已取得显著进展，自遮挡仍是一项挑战。在真实世界中，3D 物体的自遮挡仍为深度学习方法带来显著挑战。然而，人类通过部署复杂策略应对此问题，例如通过改变视点或操控场景以收集必要信息。借助 TEOS，我们呈现一个含两个难度级别（L1 与 L2）的数据集，分别包含 36 与 12 个物体。我们提供每个物体的 738 个均匀采样视图、其掩码、物体与相机位置、朝向、自遮挡量，以及每个物体的 CAD 模型。我们用五种知名分类深度神经网络给出基线评估，并表明 TEOS 对它们均构成显著挑战。该数据集及预训练模型已在 https://nvision2.data.eecs.yorku.ca/TEOS 对科学界公开。