基于扩散模型的图像编辑即程序
计算机视觉与模式识别
2025-06-05 v1
摘要
虽然扩散模型在文本到图像生成方面取得了显著成功，但它们在指令驱动的图像编辑方面遇到了重大挑战。我们的研究揭示了一个关键挑战：这些模型在涉及大量布局变化的结构不一致编辑方面尤其难以应对。为弥补这一差距，我们提出了图像编辑即程序（IEAP），一个基于扩散Transformer（DiT）架构的统一图像编辑框架。IEAP的核心通过还原论视角处理指令式编辑，将复杂的编辑指令分解为原子操作的序列。每个操作通过一个共享相同DiT骨干网络的轻量级适配器实现，并专门针对特定类型的编辑进行优化。由基于视觉语言模型（VLM）的代理编程，这些操作协同支持任意且结构不一致的变换。通过以这种方式模块化和序列化编辑，IEAP在广泛的编辑任务中实现了鲁棒的泛化能力，从简单调整到重大结构变化。大量实验表明，IEAP在标准基准测试和各种编辑场景下显著优于最先进方法。在这些评估中，我们的框架在准确性和语义保真度方面表现出色，尤其是对于复杂的多步骤指令。代码可在 https://github.com/YujiaHu1109/IEAP 获取。
引用
@article{arxiv.2506.04158,
title = {Image Editing As Programs with Diffusion Models},
author = {Yujia Hu and Songhua Liu and Zhenxiong Tan and Xingyi Yang and Xinchao Wang},
journal= {arXiv preprint arXiv:2506.04158},
year = {2025}
}