自然环境人类重光照：基于域适应的单目全身重光照
图形学
2021-10-18 v2
摘要
现代监督式人体图像重光照方法依赖于从 3D 人体模型生成的训练数据。然而，此类数据集通常很小（例如，个体数量很少的 Light Stage 数据），或仅限于漫反射材质（例如，商业 3D 扫描人体模型）。因此，人体重光照技术受到泛化能力差和合成到真实域差距的困扰。在本文中，我们提出了一种具有域适应的单图像人体重光照两阶段方法。在第一阶段，我们训练一个神经网络用于仅漫反射重光照。在第二阶段，我们通过学习真实照片与仅漫反射网络重建图像之间的残差，训练另一个网络以增强非漫反射。得益于第二阶段，我们能够实现对各种衣物纹理更高的泛化能力，同时缩小了域差距。此外，为了处理输入视频，我们集成了光照感知的深度视频先验，即使在动态光照的挑战性设置下，也能极大地减少闪烁伪影。
引用
@article{arxiv.2110.07272,
title = {Relighting Humans in the Wild: Monocular Full-Body Human Relighting with Domain Adaptation},
author = {Daichi Tajima and Yoshihiro Kanamori and Yuki Endo},
journal= {arXiv preprint arXiv:2110.07272},
year = {2021}
}
备注
Accepted to Pacific Graphics 2021, project page: http://www.cgg.cs.tsukuba.ac.jp/~tajima/pub/relighting_in_the_wild/