生成式肖像阴影去除

我们引入了一种高保真度的肖像阴影去除模型，该模型可以通过预测肖像在干扰阴影和高光下的外观来有效增强肖像图像。肖像阴影去除是一个高度不适定的问题，其中基于单张图像可以找到多个合理的解。虽然现有工作通过预测可以传播局部阴影分布的外观残差来解决这个问题，但此类方法通常不完整，并导致不自然的预测，尤其是对于具有硬阴影的肖像。我们通过将去除问题公式化为一个生成任务来克服现有局部传播方法的局限性，在该任务中，扩散模型学习从零开始全局重建人类外观，作为输入肖像图像的条件。为了实现鲁棒且自然的阴影去除，我们提出使用组合重利用框架训练扩散模型：首先使用背景协调数据集对预训练的文本引导图像生成模型进行微调，以协调前景与背景场景的光照和颜色；然后使用阴影配对数据集进一步微调模型，以生成无阴影的肖像图像。为了克服潜在扩散模型中丢失精细细节的局限性，我们提出了一种引导上采样网络，以从输入图像中恢复原始的高频细节（皱纹和斑点）。为了实现我们的组合训练框架，我们使用光场捕捉系统和合成图形模拟构建了一个高保真度的大规模数据集。我们的生成框架有效地去除了由自身和外部遮挡引起的阴影，同时保持了原始光照分布和高频细节。我们的方法还展示了在真实环境中捕获的不同主体的鲁棒性。