InverFill：面向增强型少步扩散 inpainting 的单步反向方法

最近的扩散基于模型在图像inpainting中实现了照片级逼真度，但需要大量采样步骤，限制了实际应用。少步文本到图像模型提供了更快的生成，但直接将其应用于inpainting会导致背景与inpainting区域之间和谐性差和存在伪影。我们追溯到随机高斯噪声初始化的原因，在低函数评估下导致语义错位和保真度降低。为克服此问题，我们提出InverFill，一种针对inpainting的单步反向方法，将输入掩码图像中的语义信息注入初始噪声，从而实现高保真少步inpainting。与训练inpainting模型不同，InverFill利用少步文本到图像模型在语义对齐噪声输入下进行的混合采样流程中显著改进了基础混合采样，甚至在低NFE下可与专用inpainting模型相当。此外，InverFill不需要真实图像监督，仅添加最小的推理开销。大量实验表明，InverFill consistently提升了基线少步模型，提高了图像质量和文本一致性，而无需昂贵的重新训练或重型迭代优化。