基于扩散模型的单图像连续布局编辑
计算机视觉与模式识别
2023-06-23 v1
摘要
近期大规模文本到图像扩散模型的进展催生了许多图像编辑应用。然而，这些方法均无法编辑单张已有图像的布局。为弥补这一空白，我们提出了首个在保留图像视觉属性的同时对单图像进行布局编辑的框架，从而实现对单图像的连续编辑。我们的方法通过两个关键模块实现。首先，为保留图像中多个对象的特征，我们使用一种称为掩码文本反演的新方法将不同对象的概念解耦并嵌入到独立的文本令牌中。接下来，我们提出一种免训练优化方法，对预训练扩散模型进行布局控制，使我们能够用学习到的概念重新生成图像并使其与用户指定布局对齐。作为首个编辑已有图像布局的框架，我们证明了我们的方法有效且优于为支持该任务而修改的其他基线。我们的代码将在录用后免费公开供公众使用。
引用
@article{arxiv.2306.13078,
title = {Continuous Layout Editing of Single Images with Diffusion Models},
author = {Zhiyuan Zhang and Zhitong Huang and Jing Liao},
journal= {arXiv preprint arXiv:2306.13078},
year = {2023}
}