通过形变合成数据形状先验实现野外部景下的三维表面重建
计算机视觉与模式识别
2023-02-28 v1
摘要
从单张图像重建物体底层的三维表面是一个具有挑战性的问题，已受到计算机视觉界的广泛关注。许多基于学习的方法通过在真实三维数据或多视图观测上学习三维形状先验来解决该问题。为取得最先进的结果，这些方法假设物体相对于固定的规范坐标系给出，且同类实例完美对齐。本文中，我们提出一种从单张图像进行联合类别特定三维重建与物体位姿估计的新方法。我们展示可利用在纯合成三维数据上学习的形状先验，结合点云位姿规范化方法，在野外部景下实现高质量三维重建。在测试时给定单张深度图像，我们首先将该部分点云变换到学习到的规范坐标系；随后使用神经形变场重建物体的三维表面；最后联合优化物体位姿与三维形状以拟合部分深度观测。即便仅在合成数据上训练，我们的方法在多个真实世界数据集上仍达到最先进的重建性能。我们进一步展示该方法可泛化至不同输入模态，从稠密深度图像到稀疏且含噪的 LIDAR 扫描。
引用
@article{arxiv.2302.12883,
title = {3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data},
author = {Nicolai Häni and Jun-Jee Chao and Volkan Isler},
journal= {arXiv preprint arXiv:2302.12883},
year = {2023}
}