基于2D GAN数据的三维重建网络渐进式学习
计算机视觉与模式识别
2023-05-19 v1
摘要
本文提出一种从单幅图像重建高质量带纹理三维模型的方法。当前方法依赖于具有昂贵标注的数据集，即多视图图像及其相机参数。我们的方法依赖于GAN生成的多视图图像数据集，其标注成本可忽略不计。然而，它们并非严格的多视图一致，且GAN有时会输出失真图像。这导致重建质量下降。本工作中，为克服生成数据集的这些局限，我们有两项主要贡献，使我们能在具有挑战性的物体上取得最先进的结果：1）一种鲁棒的多阶段学习方案，在计算损失时逐渐更多地依赖模型自身的预测；2）一种新颖的对抗式学习流程，通过在线伪真值生成来实现精细细节。我们的工作搭建了从GAN模型的2D监督到3D重建模型的桥梁，并免除了昂贵的标注工作。我们展示了相比先前方法的显著改进，无论其是在GAN生成的多视图图像上训练，还是在具昂贵标注的真实图像上训练。请访问我们的网页查看3D可视化：https://research.nvidia.com/labs/adlr/progressive-3d-learning
引用
@article{arxiv.2305.11102,
title = {Progressive Learning of 3D Reconstruction Network from 2D GAN Data},
author = {Aysegul Dundar and Jun Gao and Andrew Tao and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2305.11102},
year = {2023}
}
备注
Web-page: https://research.nvidia.com/labs/adlr/progressive-3d-learning. arXiv admin note: text overlap with arXiv:2203.09362