具有对抗约束的弱监督三维重建
计算机视觉与模式识别
2017-10-05 v2
摘要
通过使用深度神经网络，有监督的三维重建已取得显著进展。然而，这种性能提升需要大规模的二维/三维数据标注。在本文中，我们探索使用廉价的二维监督作为昂贵三维 CAD 标注的替代方案。具体来说，我们通过一个能实现透视投影和反向传播的光线追踪池化层，将前景掩膜用作弱监督。此外，由于从掩膜进行三维重建是一个不适定问题，我们提出将三维重建约束到与掩膜观测相匹配的未标注真实三维形状的流形上。我们证明，学习此约束优化问题的对数障碍解类似于 GAN 目标，从而能够使用现有工具来训练 GAN。我们在多种数据集上评估和分析了这种流形约束重建方法，用于合成图像和真实图像的单视图及多视图重建。
引用
@article{arxiv.1705.10904,
title = {Weakly supervised 3D Reconstruction with Adversarial Constraint},
author = {JunYoung Gwak and Christopher B. Choy and Animesh Garg and Manmohan Chandraker and Silvio Savarese},
journal= {arXiv preprint arXiv:1705.10904},
year = {2017}
}