HoW-3D：基于单张图像的整体三维线框感知
计算机视觉与模式识别
2022-08-22 v2
摘要
本文研究整体三维线框感知（HoW-3D）问题，即从单视角二维图像中同时感知可见与不可见三维线框的新任务。由于物体的非正面表面在单视角下无法直接观测，估计 HoW-3D 中的非视距（NLOS）几何本质上具有挑战性，且在计算机视觉中仍是开放问题。我们通过提出 ABC-HoW 基准来研究 HoW-3D 问题，该基准构建于源自 ABC-dataset 的 CAD 模型之上，包含 12k 张单视角图像及对应的整体三维线框模型。借助大规模 ABC-HoW 基准，我们提出一种新颖的深度空间格式塔（DSG）模型，将可见交点与线段作为基础进行学习，随后依据人类视觉系统的格式塔原则由可见线索推断 NLOS 三维结构。实验中，我们证明 DSG 模型在由单视角图像推断整体三维线框方面表现优异。与强基线方法相比，我们的 DSG 模型在检测单视角图像中不可见线几何上优于以往的线框检测器，甚至在重建三维线框上可与以高保真点云为输入的已有方法相竞争。
引用
@article{arxiv.2208.06999,
title = {HoW-3D: Holistic 3D Wireframe Perception from a Single Image},
author = {Wenchao Ma and Bin Tan and Nan Xue and Tianfu Wu and Xianwei Zheng and Gui-Song Xia},
journal= {arXiv preprint arXiv:2208.06999},
year = {2022}
}
备注
To appear in IEEE 3DV 2022. Code and Dataset are available at https://github.com/Wenchao-M/HoW-3D