基于深度学习的可学习三角化从单张RGB图像重建任意拓扑物体
计算机视觉与模式识别
2021-09-27 v1
摘要
我们提出一种基于深度强化学习的从单目图像进行三维物体重建的新方法。先前使用网格表示的工作是基于模板的,因此仅限于重建与模板具有相同拓扑的物体。使用体素网格作为中间表示的方法计算开销大,限制了其在实时场景中的应用。本文提出一种新颖的端到端方法,从单目图像重建任意拓扑的三维物体。它由以下部分组成:(1)顶点生成网络(VGN),从输入RGB图像预测物体顶点的初始三维位置;(2)可微分三角化层,使用一种新颖的强化学习算法以非监督方式学习顶点的最佳三角化;(3)分层网格细化网络,利用图卷积细化初始网格。我们的关键贡献是可学习的三角化过程,它以无监督方式恢复输入形状的拓扑。在ShapeNet和Pix3D基准上的实验表明,所提方法在视觉质量、重建精度和计算时间方面均优于SOTA。
引用
@article{arxiv.2109.11844,
title = {Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images},
author = {Tarek Ben Charrada and Hedi Tabia and Aladine Chetouani and Hamid Laga},
journal= {arXiv preprint arXiv:2109.11844},
year = {2021}
}