面向实用采集的高保真可重光照虚拟人
计算机视觉与模式识别
2023-09-11 v1
摘要
本文提出一种新颖的框架——无跟踪可重光照虚拟人（TRAvatar），用于采集与重建高保真三维虚拟人。相较先前方法，TRAvatar 在更实用且高效的设定下工作。具体而言，TRAvatar 使用在光照舞台（Light Stage）中于变化光照条件下捕获的动态图像序列进行训练，从而能为多样场景中的虚拟人实现逼真重光照与实时动画。此外，TRAvatar 支持无跟踪的虚拟人采集，并免除了在变化光照下精确表面跟踪的需求。我们的贡献有二：首先，我们提出一种新颖的网络架构，其显式构建于并确保光照线性性质得到满足。在简单分组光照捕获上训练后，TRAvatar 能以单次前向传播实时预测外观，在任意环境贴图光照下达成高质量重光照效果。其次，我们基于图像序列从零联合优化面部几何与可重光照外观，其中跟踪被隐式学习。该无跟踪方法为在不同光照条件下建立帧间时间对应带来了鲁棒性。大量定性与定量实验表明，我们的框架在逼真虚拟人动画与重光照上取得了优越性能。
引用
@article{arxiv.2309.04247,
title = {Towards Practical Capture of High-Fidelity Relightable Avatars},
author = {Haotian Yang and Mingwu Zheng and Wanquan Feng and Haibin Huang and Yu-Kun Lai and Pengfei Wan and Zhongyuan Wang and Chongyang Ma},
journal= {arXiv preprint arXiv:2309.04247},
year = {2023}
}
备注
Accepted to SIGGRAPH Asia 2023 (Conference); Project page: https://travatar-paper.github.io/