Imagen Editor 与 EditBench：推进与评估文本引导的图像修复
计算机视觉与模式识别
2023-04-14 v2 人工智能
摘要
文本引导的图像编辑在支持创意应用方面可产生变革性影响。一个关键挑战是生成既忠实于输入文本提示又与输入图像保持一致的编辑。我们提出 Imagen Editor，这是一个通过在 Imagen 上针对文本引导的图像修复进行微调而构建的级联扩散模型。Imagen Editor 的编辑忠实于文本提示，这是通过在训练期间使用目标检测器提出修复掩码来实现的。此外，Imagen Editor 通过将级联流水线以原始高分辨率图像为条件，捕获了输入图像中的精细细节。为了改进定性和定量评估，我们引入了 EditBench，一个用于文本引导图像修复的系统化基准。EditBench 在自然图像和生成图像上评估修复编辑，探索对象、属性和场景。通过在 EditBench 上进行广泛的人工评估，我们发现训练期间的对象掩码处理在文本-图像对齐方面带来了全面的提升——使得 Imagen Editor 优于 DALL-E 2 和 Stable Diffusion——并且，作为一个整体，这些模型在对象渲染方面优于文本渲染，且处理材质/颜色/大小属性的能力优于数量/形状属性。
引用
@article{arxiv.2212.06909,
title = {Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting},
author = {Su Wang and Chitwan Saharia and Ceslee Montgomery and Jordi Pont-Tuset and Shai Noy and Stefano Pellegrini and Yasumasa Onoe and Sarah Laszlo and David J. Fleet and Radu Soricut and Jason Baldridge and Mohammad Norouzi and Peter Anderson and William Chan},
journal= {arXiv preprint arXiv:2212.06909},
year = {2023}
}
备注
CVPR 2023 Camera Ready