LEDITS: 基于DDPM反演与语义引导的真实图像编辑
计算机视觉与模式识别
2023-07-04 v1 人工智能
机器学习
摘要
近期大规模文本引导扩散模型提供了强大的图像生成能力。当前,大量工作致力于仅使用文本修改这些图像,以提供直观且多样的编辑方式。然而,由于编辑技术固有地需保留原图某些内容,对这些生成模型而言编辑十分困难。相反,在基于文本的模型中,即便对文本提示的微小改动也常导致截然不同的结果,使得准确对应用户意图的一次性生成极难实现。此外,使用这些SOTA工具编辑真实图像时,须先将图像反演至预训练模型域中——这增添了影响编辑质量与延迟的另一因素。在本探索性报告中,我们提出LEDITS——一种用于真实图像编辑的轻量组合方法,将编辑友好DDPM反演技术与语义引导相结合,从而将语义引导扩展至真实图像编辑,同时利用DDPM反演的编辑能力。该方法实现了从细微到大幅的多样编辑,以及构图与风格改动,且无需优化或扩展架构。
引用
@article{arxiv.2307.00522,
title = {LEDITS: Real Image Editing with DDPM Inversion and Semantic Guidance},
author = {Linoy Tsaban and Apolinário Passos},
journal= {arXiv preprint arXiv:2307.00522},
year = {2023}
}
备注
8 pages, 5 figures, 1 table. This report builds up on the works introduced in - arXiv:2304.06140, arXiv:2301.12247