MarrNet：通过 2.5D 草图进行三维形状重建
计算机视觉与模式识别
2017-11-10 v1 机器学习
神经与进化计算
摘要
从单幅图像进行三维物体重建是一个高度欠定问题，需要对合理三维形状有很强的先验知识。这给基于学习的方法带来了挑战，因为真实图像中三维物体标注十分稀缺。先前工作选择在带有真实三维信息的合成数据上训练，但在真实数据测试时遭受域适应问题。在本工作中，我们提出 MarrNet，一个端到端可训练的模型，它顺序估计 2.5D 草图和三维物体形状。我们解耦的两步公式具有三个优点。首先，与完整三维形状相比，2.5D 草图更容易从二维图像中恢复；恢复 2.5D 草图的模型也更可能从合成数据迁移到真实数据。其次，对于从 2.5D 草图进行三维重建，系统可以纯粹从合成数据学习。这是因为我们可以轻松渲染逼真的 2.5D 草图，而无需建模真实图像中物体的外观变化，包括光照、纹理等。这进一步缓解了域适应问题。第三，我们推导了从三维形状到 2.5D 草图的可微投影函数；因此该框架在真实图像上是端到端可训练的，无需人工标注。我们的模型在三维形状重建上达到了最先进的性能。
引用
@article{arxiv.1711.03129,
title = {MarrNet: 3D Shape Reconstruction via 2.5D Sketches},
author = {Jiajun Wu and Yifan Wang and Tianfan Xue and Xingyuan Sun and William T Freeman and Joshua B Tenenbaum},
journal= {arXiv preprint arXiv:1711.03129},
year = {2017}
}
备注
NIPS 2017. The first two authors contributed equally to this paper. Project page: http://marrnet.csail.mit.edu