一种用于从单张RGB图像生成复杂拓扑网格的骨架桥接深度学习方法
计算机视觉与模式识别
2019-04-11 v2
摘要
本文关注从单张RGB图像学习三维物体表面重建这一挑战性任务。现有方法使用不同几何表示取得了不同程度成功，但均存在各自缺陷，难以较好重建复杂拓扑的表面。为此，我们提出一种骨架桥接的分阶段学习方法以应对该挑战。我们使用骨架是其具有拓扑保持的良好性质，同时学习复杂度较低。为从输入图像学习骨架，我们设计了一种深度架构，其解码器基于分别合成曲线状与曲面状骨架点的并行流的新颖设计。我们在分阶段学习中采用点云、体素与网格的不同形状表示，以发挥各自优势。我们还提出在多阶段中复用输入图像，以纠正各阶段可能累积的预测误差。我们进行了充分实验以探究所提方法的有效性。在简单与复杂拓扑代表性物体类别上的定性与定量结果表明，我们的方法优于现有方法。我们将公开ShapeNet-Skeleton数据集。
引用
@article{arxiv.1903.04704,
title = {A Skeleton-bridged Deep Learning Approach for Generating Meshes of Complex Topologies from Single RGB Images},
author = {Jiapeng Tang and Xiaoguang Han and Junyi Pan and Kui Jia and Xin Tong},
journal= {arXiv preprint arXiv:1903.04704},
year = {2019}
}
备注
8 pages paper, 3 pages supplementary material, CVPR Oral paper