学习检测3D反射对称性用于单视图重建
计算机视觉与模式识别
2020-06-18 v1 机器学习
摘要
从单张RGB图像进行3D重建是计算机视觉中的挑战性问题。以往方法通常纯数据驱动,导致不准确的3D形状恢复与有限的泛化能力。本工作中,我们聚焦物体级3D重建,提出一种基于几何的端到端深度学习框架:首先检测人造物体中普遍存在的反射对称镜面,随后通过寻找对称性的图像内像素级对应来预测深度图。我们的方法在测试时通过构建平面扫描代价体(一种用于多视图立体视觉的强大工具)充分利用来自对称性的几何线索。据我们所知,这是首次在单图像3D重建设定中使用代价体概念的工作。我们在ShapeNet数据集上进行了充分实验,发现我们的重建方法在相机位姿与深度图的精度上显著优于以往最先进的单视图3D重建网络,且无需物体完全对称。代码见 https://github.com/zhou13/symmetrynet。
引用
@article{arxiv.2006.10042,
title = {Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction},
author = {Yichao Zhou and Shichen Liu and Yi Ma},
journal= {arXiv preprint arXiv:2006.10042},
year = {2020}
}