综合光照：通用且一致的单目人体光照重建与色调调和

本文引入了 Comprehensive Relighting，即首个能够控制和调和来自任意场景中任意身体部位的人体图像或视频光照的全能方法。由于缺乏数据集，构建此类通用模型极具挑战性，限制了现有基于图像的人体光照模型仅适用于特定场景（如面部或静态人体）。为此，我们将预训练的扩散模型用作通用图像先验，联合建模人体光照重建和背景色调调和，并采用粗到细框架。为进一步增强光照的时序一致性，我们引入一种无监督时序光照模型，从大量真实世界视频中学习光照循环一致性而无需任何 ground truth。在推理阶段，我们通过时空特征融合算法将时序光照模块与扩散模型结合，无需额外训练；我们应用新的引导式细化作为后处理，以保留输入图像的高频细节。在实验中，Comprehensive Relighting 显示出强大的通用性和光照时序一致性，优于现有的基于图像的人体光照和色调调和方法。