IsMo-GAN：用于单目非刚性三维重建的对抗学习
计算机视觉与模式识别
2021-06-22 v2
摘要
现有大多数从单目 2D 图像进行非刚性 3D 表面回归的方法都需要以物体模板或多帧上的点轨迹作为输入，且仍远未达到实时处理速度。本文提出等距感知单目生成对抗网络（Isometry-Aware Monocular Generative Adversarial Network, IsMo-GAN）——一种从单幅图像直接进行 3D 重建的方法，该方法在轻量级合成数据集上以对抗方式针对形变模型进行训练。IsMo-GAN 在超过 250 Hz 的频率下，从真实图像中重建受变化光照、相机位姿、纹理与明暗影响下的表面。在多项实验中，它在重建精度、运行时间、对未知表面的泛化能力以及遮挡鲁棒性方面持续优于多种方法。与当前最优（state-of-the-art）方法相比，我们将重建误差降低了 10-30%（包括无纹理情形），且我们的表面在定性上呈现出更少的伪影。
引用
@article{arxiv.1904.12144,
title = {IsMo-GAN: Adversarial Learning for Monocular Non-Rigid 3D Reconstruction},
author = {Soshi Shimada and Vladislav Golyanik and Christian Theobalt and Didier Stricker},
journal= {arXiv preprint arXiv:1904.12144},
year = {2021}
}
备注
13 pages, 11 figures, 4 tables, 6 sections, 73 references