NormalGAN：从单张RGB-D图像学习细节化三维人体重建
计算机视觉与模式识别
2020-07-31 v1
摘要
我们提出NormalGAN，一种基于快速对抗学习的方法，用于从单张RGB-D图像重建完整且细节丰富的三维人体。给定单张前视图RGB-D图像，NormalGAN执行两步：前视图RGB-D校正与后视图RGB-D推断。最终模型通过简单合并前视图与后视图RGB-D信息生成。然而，推断具有高质量几何细节与合理纹理的后视图RGB-D图像并非易事。我们的关键观察是：法线图通常比RGB与深度图像编码了更多的三维表面细节信息。因此，从法线图学习几何细节优于其他表示。在NormalGAN中，引入了以法线图为条件的对抗学习框架，其不仅用于提升前视图深度去噪性能，还能以惊人的几何细节推断后视图深度图像。此外，对于纹理恢复，我们基于精炼法线图从前视图RGB图像中去除光照信息，进一步提升了后视图颜色推断的质量。在测试数据集与真实采集数据上的结果与实验证明了我们方法的优越性能。给定消费级RGB-D传感器，NormalGAN能以20 fps生成完整且细节化的三维人体重建结果，进而在远程呈现、AR/VR与游戏场景中实现便捷的交互体验。
引用
@article{arxiv.2007.15340,
title = {NormalGAN: Learning Detailed 3D Human from a Single RGB-D Image},
author = {Lizhen Wang and Xiaochen Zhao and Tao Yu and Songtao Wang and Yebin Liu},
journal= {arXiv preprint arXiv:2007.15340},
year = {2020}
}
备注
10 pages, 11 figures, ECCV 2020