SynthLight：通过学习重新渲染合成人脸实现人像重光照的扩散模型
计算机视觉与模式识别
2025-01-17 v1 图形学
摘要
我们引入了 SynthLight，一个用于人像重光照的扩散模型。我们的方法将图像重光照构建为一个重新渲染问题，其中像素根据环境光照条件的变化进行转换。我们使用基于物理的渲染引擎，利用不同光照下的 3D 头部资产合成数据集，以模拟这种光照条件转换。我们提出了两种训练和推理策略，以弥合合成图像域与真实图像域之间的差距：(1) 利用没有光照标签的真实人物肖像的多任务训练；(2) 基于无分类器引导的推理时扩散采样过程，利用输入肖像以更好地保留细节。我们的方法能够泛化到各种真实照片，并产生逼真的光照效果，包括高光和投射阴影，同时保留主体的身份。我们在 Light Stage 数据上的定量实验表明，其结果可与最先进的重光照方法相媲美。我们在自然图像上的定性结果展示了丰富且前所未有的光照效果。项目页面：\url{https://vrroom.github.io/synthlight/}
引用
@article{arxiv.2501.09756,
title = {SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces},
author = {Sumit Chaturvedi and Mengwei Ren and Yannick Hold-Geoffroy and Jingyuan Liu and Julie Dorsey and Zhixin Shu},
journal= {arXiv preprint arXiv:2501.09756},
year = {2025}
}
备注
27 pages, 25 figures, Project Page https://vrroom.github.io/synthlight/