通过拓扑修改网络从单张 RGB 图像进行深度网格重建
计算机视觉与模式识别
2019-09-04 v1
摘要
得益于深度学习技术的最新进展,从单张图像重建通用物体的三维网格已成为可能。然而,由于生成可行网格结构的固有难度,当前最优方法常通过学习的模板网格位移将其形变为目标表面来简化问题。尽管通过形变多个网格块可实现复杂拓扑的三维形状重建,但将结果缝合以保证高网格质量仍十分困难。本文提出一种端到端的单视图网格重建框架,能够从单个亏格为 0 的模板网格生成具有复杂拓扑的高质量网格。我们方法的关键在于一种新颖的渐进式成形框架,其在网格形变与拓扑修改之间交替。形变网络预测逐顶点平移以缩小重建网格与真值之间的差距,而一种新颖的拓扑修改网络被用于剪除易错面片,从而实现拓扑演化。通过迭代上述两个过程,可逐步修改网格拓扑同时获得更高重建精度。此外,设计了边界细化网络以优化边界条件,进一步提升重建网格的视觉质量。大量实验表明,我们的方法在定性与定量上均优于当前最优方法,尤其对于具有复杂拓扑的形状。
引用
@article{arxiv.1909.00321,
title = {Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks},
author = {Junyi Pan and Xiaoguang Han and Weikai Chen and Jiapeng Tang and Kui Jia},
journal= {arXiv preprint arXiv:1909.00321},
year = {2019}
}
备注
10 pages, 11 figures, to be presented at ICCV 2019