Relighting4D：基于视频的神经可重光照人体
计算机视觉与模式识别
2022-09-21 v1 图形学
摘要
人体重光照是一项极受期待却极具挑战的任务。现有工作要么需要使用光台捕获昂贵的逐光（OLAT）数据，要么无法自由改变渲染人体的视角。本工作中，我们提出一个原则性框架 Relighting4D，仅利用未知光照下的人体视频即可实现自由视角重光照。我们的核心见解是，人体随时空变化的几何与反射率可分解为一组法线、遮挡、漫反射和镜面反射图的神经场。这些神经场进一步集成到反射感知的基于物理的渲染中，其中神经场中每个顶点吸收并反射来自环境的光。整个框架能以自监督方式从视频中学习，并设计了物理启发的先验用于正则化。在真实与合成数据集上的大量实验表明，我们的框架能够对动态人体角色进行自由视角重光照。
引用
@article{arxiv.2207.07104,
title = {Relighting4D: Neural Relightable Human from Videos},
author = {Zhaoxi Chen and Ziwei Liu},
journal= {arXiv preprint arXiv:2207.07104},
year = {2022}
}
备注
ECCV 2022; Project Page https://frozenburning.github.io/projects/relighting4d Codes are available at https://github.com/FrozenBurning/Relighting4D