图像 inpainting 模型是指令导向图像编辑的有效工具
计算机视觉与模式识别
2024-07-19 v1
摘要
本文为 CVPR2024 GenAI Media Generation Challenge Workshop 指令导向图像编辑赛道的获奖方案技术报告。指令导向图像编辑近年来受到广泛关注。最先进的方法，如 SmartEdit 和 MGIE，通常通过联合训练将大型语言模型与扩散模型结合，前者提供文本理解能力，后者提供图像生成能力。然而，在我们的实验中发现，通过仅通过诸如掩码等中间引导方式连接大型语言模型和图像生成模型，而非联合微调，能获得更好的编辑效果和成功率。我们采用四步流程 IIIE（基于 inpainting 的指令导向图像编辑）：编辑类别分类、主要编辑对象识别、编辑掩码获取和图像 inpainting。结果表明，通过恰当地组合语言模型和图像 inpainting 模型，该管道能够以高成功率和满意的视觉质量实现图像编辑。
关键词
引用
@article{arxiv.2407.13139,
title = {Image Inpainting Models are Effective Tools for Instruction-guided Image Editing},
author = {Xuan Ju and Junhao Zhuang and Zhaoyang Zhang and Yuxuan Bian and Qiang Xu and Ying Shan},
journal= {arXiv preprint arXiv:2407.13139},
year = {2024}
}