UltraEdit: 大规模基于指令的细粒度图像编辑
计算机视觉与模式识别
2024-12-20 v2
摘要
本文提出UltraEdit，一个大规模（约400万个编辑样本）、自动生成的基于指令的图像编辑数据集。我们的核心思想是解决现有图像编辑数据集（如InstructPix2Pix和MagicBrush）的缺陷，并提供一种系统化方法来生成海量且高质量的图像编辑样本。UltraEdit具有几个显著优势：1）通过利用大语言模型的创造力以及来自人类评估者的上下文编辑示例，它提供了更广泛的编辑指令；2）其数据源基于真实图像，包括照片和艺术作品，与仅由文本到图像模型生成的数据集相比，提供了更大的多样性和更少的偏差；3）它还支持基于区域的编辑，并通过高质量、自动生成的区域注释得到增强。我们的实验表明，在UltraEdit上训练的典型扩散编辑基线在MagicBrush和Emu-Edit基准测试上创造了新纪录。我们的分析进一步证实了真实图像锚点和基于区域的编辑数据的关键作用。数据集、代码和模型可在https://ultra-editing.github.io获取。
引用
@article{arxiv.2407.05282,
title = {UltraEdit: Instruction-based Fine-Grained Image Editing at Scale},
author = {Haozhe Zhao and Xiaojian Ma and Liang Chen and Shuzheng Si and Rujie Wu and Kaikai An and Peiyu Yu and Minjia Zhang and Qing Li and Baobao Chang},
journal= {arXiv preprint arXiv:2407.05282},
year = {2024}
}
备注
NeurIPS 2024