SONIC: 用于修复的谱优化噪声与一致性
计算机视觉与模式识别
2025-12-01 v2
摘要
我们提出一种用于修复的无训练方法，利用现成的文本到图像模型。虽然基于引导的方法在理论上允许使用通用模型处理诸如修复等逆问题，但在实际中其效果受限，导致需要专门的修复特定模型。本文我们认为，无训练修复的缺失要素是初始种子噪声的优化。我们提议对初始种子噪声进行优化，以大致匹配数据的未遮挡部分——只需进行几十次优化步骤。随后在优化后的初始种子噪声上应用常规的无训练修复方法。关键的是，我们提出了两个核心思想来有效实现此想法：（i）为避免将初始噪声与生成结果关联所需的繁重展开，我们执行线性近似；（ii）为稳定优化，我们在谱域中优化初始种子噪声。我们在各种修复任务上展示了方法的有效性， outperform 现有最先进方法。项目页面: https://ubc-vision.github.io/sonic/
引用
@article{arxiv.2511.19985,
title = {SONIC: Spectral Optimization of Noise for Inpainting with Consistency},
author = {Seungyeon Baek and Erqun Dong and Shadan Namazifard and Mark J. Matthews and Kwang Moo Yi},
journal= {arXiv preprint arXiv:2511.19985},
year = {2025}
}