SPARE3D：用于三视图线条画空间推理的数据集
计算机视觉与模式识别
2020-09-03 v2 计算几何
机器学习
图像与视频处理
摘要
空间推理是人类智能的重要组成部分。我们仅通过观察 2D 三视图线条画，就能以不同的能力水平想象 3D 物体的形状并推理其空间关系。深度网络能否被训练来执行空间推理任务？我们如何衡量它们的“空间智能”？为了回答这些问题，我们提出了 SPARE3D 数据集。基于认知科学和心理测量学，SPARE3D 包含三类难度递增的 2D-3D 推理任务，分别涉及视图一致性、相机位姿和形状生成。随后，我们设计了一种方法，为每个任务自动生成大量带有真实答案的挑战性问题。它们用于为使用 ResNet 等 SOTA 架构的基线模型提供训练监督。我们的实验表明，尽管卷积网络在许多视觉学习任务中取得了超人的性能，但它们在 SPARE3D 任务上的空间推理性能要么低于人类平均水平，要么甚至接近随机猜测。我们希望 SPARE3D 能够激发关于空间推理的全新问题建模和网络设计，使智能机器人能够通过 2D 传感器在 3D 世界中有效运作。数据集和代码可在 https://ai4ce.github.io/SPARE3D 获取。
引用
@article{arxiv.2003.14034,
title = {SPARE3D: A Dataset for SPAtial REasoning on Three-View Line Drawings},
author = {Wenyu Han and Siyuan Xiang and Chenhui Liu and Ruoyu Wang and Chen Feng},
journal= {arXiv preprint arXiv:2003.14034},
year = {2020}
}
备注
This paper has been accepted in CVPR'20. The first two authors contributed equally. Chen Feng is the corresponding author