InstructPix2Pix：学习遵循图像编辑指令
计算机视觉与模式识别
2023-01-19 v2 人工智能
计算与语言
图形学
机器学习
摘要
我们提出一种根据人类指令编辑图像的方法：给定输入图像和告知模型需执行操作的书面指令，我们的模型遵循这些指令来编辑图像。为获取该问题的训练数据，我们结合了两个大型预训练模型——语言模型（GPT-3）和文本到图像模型（Stable Diffusion）——的知识，生成大规模图像编辑示例数据集。我们的条件扩散模型 InstructPix2Pix 在我们的生成数据上训练，并在推理时泛化到真实图像和用户书面指令。由于它在前向传播中执行编辑且不需要逐样本微调或反演，我们的模型编辑图像很快，仅需数秒。我们展示了对多样化输入图像和书面指令的引人注目的编辑结果。
引用
@article{arxiv.2211.09800,
title = {InstructPix2Pix: Learning to Follow Image Editing Instructions},
author = {Tim Brooks and Aleksander Holynski and Alexei A. Efros},
journal= {arXiv preprint arXiv:2211.09800},
year = {2023}
}
备注
Project page with code: https://www.timothybrooks.com/instruct-pix2pix