面向稳定阴影移除的细节保持潜在扩散
计算机视觉与模式识别
2024-12-24 v1
摘要
在具有复杂全局照明的场景中，实现高质量阴影移除且具备强大泛化能力具有挑战性。由于阴影移除数据集的有限多样性，当前方法容易对训练数据过拟合，往往导致在未见情况下的性能下降。为此，我们利用预训练的 Stable Diffusion(SD) 模型所蕴含的丰富视觉先验，并提出一种两阶段微调管道以适应稳定且高效的阴影移除。在第一个阶段，我们固定 VAE 并在潜在空间中微调 denoiser，这会产生显著的阴影移除，但可能丢失一些高频细节。为解决这一问题，我们引入第二阶段，称为细节注入阶段。该阶段选择性地从 VAE 编码器中提取特征来调制解码器，将细节注入最终结果。实验结果表明，我们的方法在表现上优于最先进的阴影移除技术。跨数据集评估进一步表明我们的方法能有效泛化到未见数据，增强了阴影移除方法的适用性。
引用
@article{arxiv.2412.17630,
title = {Detail-Preserving Latent Diffusion for Stable Shadow Removal},
author = {Jiamin Xu and Yuxin Zheng and Zelong Li and Chi Wang and Renshu Gu and Weiwei Xu and Gang Xu},
journal= {arXiv preprint arXiv:2412.17630},
year = {2024}
}