套娃网络:通过嵌套形状层预测三维几何
计算机视觉与模式识别
2018-05-01 v1
摘要
本文中,我们开发了用于三维几何的新型高效二维编码,能够从单幅图像以高分辨率重建完整三维形状。核心思想是将三维形状重建视为一个二维预测问题。为此,我们首先开发一个简单的基础网络,在参考视图的每个像素处预测整个体素管。通过利用在二维像素预测任务中已被充分验证的架构,我们取得了最先进的结果,明显优于纯基于体素的方法。我们通过提出一种内存高效的形状编码将该基础网络扩展到更高分辨率,该编码将三维形状递归分解为嵌套形状层,类似于套娃娃娃的部件。如大量实验所示,这允许重建具有复杂拓扑的高度细节形状;尽管我们使用标准网络组件拥有简单得多的架构,仍明显优于先前基于八叉树的方法。我们的套娃网络进一步支持从 ID 或形状相似性重建形状,以及形状采样。
引用
@article{arxiv.1804.10975,
title = {Matryoshka Networks: Predicting 3D Geometry via Nested Shape Layers},
author = {Stephan R. Richter and Stefan Roth},
journal= {arXiv preprint arXiv:1804.10975},
year = {2018}
}
备注
Published at the Conference on Computer Vision and Pattern Recognition (CVPR 2018)