DiFaReli++：具有一致投射阴影的扩散人脸重打光
计算机视觉与模式识别
2026-05-13 v5 图形学
机器学习
摘要
我们提出了一种针对野外单视图人脸重打光的新方法，解决了全局光照与投射阴影等挑战。近期方法的常见方案是将输入图像本征地分解为 3D 形状、反照率和光照，再以目标光照重新合成。然而，估计这些分量容易出错，且需要许多带有真实光照的训练样本才能良好泛化。我们的工作绕过了准确本征估计的需求，且仅需 2D 图像训练，无需任何光台数据、重打光图像对、多视图图像或光照真值。我们的核心思想是利用条件扩散隐式模型（DDIM）来解码解耦的光照编码，以及从现成估计器推断出的与 3D 形状和面部身份相关的其他编码。我们提出了一种新颖的条件化技术，简化了光与几何之间复杂交互的建模。它使用渲染的明暗参考图与阴影图（通过简单有效的技术推断）来空间调制 DDIM。此外，我们提出了一种单次重打光框架，在给定预处理数据下仅需一次网络前向，甚至在各项指标上优于教师模型。我们的方法在变化光照条件下对野外图像进行真实重打光，并具有时间一致的投射阴影。我们在标准基准 Multi-PIE 上取得了最先进的性能，并在用户研究中排名最高。请访问我们的页面：https://diffusion-face-relighting-pp.github.io
引用
@article{arxiv.2304.09479,
title = {DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows},
author = {Puntawat Ponglertnapakorn and Nontawat Tritrong and Supasorn Suwajanakorn},
journal= {arXiv preprint arXiv:2304.09479},
year = {2026}
}
备注
Published in IEEE TPAMI (vol. 48, no. 5, May 2026). This is an extended version of the ICCV 2023 paper (DiFaReli)