针对预训练扩散模型的图像填充的摊销引导
计算机视觉与模式识别
2026-05-14 v1 人工智能
系统与控制
系统与控制
最优化与控制
摘要
我们研究了基于生成式扩散模型的图像填充问题。现有方法通常要么训练专用于特定任务的模型，要么在部署时为每个被遮盖的图像单独进行适配。我们提出一种折中的模型，称为带扩散的摊销填充(AID)，该模型保持预训练的扩散主干网络固定，离线训练一个小型可重复使用的引导模块，然后在无需逐实例优化的情况下复用它。我们将其形式化为具有监督终端目标的确定性引导问题。为使此问题在高维空间中可学习，我们推导了辅助高斯形式并证明，求解该随机化问题可恢复最优确定性引导场。此桥梁为学习引导模块的原理性连续时间 actor-critic 算法提供了基础，使其能够以完全数据驱动的方式进行学习。实验上，在 AFHQv2 和 FFHQ 上的像素 EDM 管线以及 ImageNet 上的潜空间 EDM2 管线中，AID 在多种遮罩类型下均 consistently 优于强大的固定主干和摊销填充基准，在像素-速度权衡方面表现更佳，同时仅增加不到 1% 的可训练开销。
引用
@article{arxiv.2605.13010,
title = {Amortized Guidance for Image Inpainting with Pretrained Diffusion Models},
author = {Yilie Huang and Xun Yu Zhou},
journal= {arXiv preprint arXiv:2605.13010},
year = {2026}
}