CorrFill: 利用扩散模型中的对应引导增强参考图像修复的忠实度
计算机视觉与模式识别
2025-01-07 v1
摘要
在参考图像修复任务中，提供额外的参考图像以将受损的目标图像恢复至原始状态。扩散模型（特别是Stable Diffusion）的进步使得该任务可以简单地进行公式化。然而，现有基于扩散的方法通常缺乏对参考图像与受损图像之间相关性的显式约束，导致修复结果对参考图像的忠实度较低。本文提出CorrFill，一种无需训练的模块，旨在增强对参考图像与目标图像之间几何相关性的感知。这种增强通过在修复过程中利用自注意力层中的注意力掩码和根据约束更新输入张量的目标函数，以修复过程中估计的对应约束来引导修复过程。实验结果表明，CorrFill通过强调对参考图像的忠实度，显著提升了多种基线扩散方法（包括最先进的方法）的性能。
引用
@article{arxiv.2501.02355,
title = {CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models},
author = {Kuan-Hung Liu and Cheng-Kun Yang and Min-Hung Chen and Yu-Lun Liu and Yen-Yu Lin},
journal= {arXiv preprint arXiv:2501.02355},
year = {2025}
}
备注
WACV 2025. Project page: https://corrfill.github.io/