利用大语言模型进行即时指令引导的图像编辑
计算与语言
2024-12-05 v2 人工智能
计算机视觉与模式识别
摘要
鉴于近期利用语言处理和图像处理两个领域综合优势所取得的令人瞩目的进展，两者的结合持续吸引着越来越多的兴趣。在这些进展中，仅基于自然语言指令编辑图像的任务脱颖而出，成为一项极具挑战性的工作。虽然近期针对此任务的方法都以某种形式依赖于某种形式的初步准备、训练或微调，但本文探索了一种新颖的方法：我们提出了一种无需准备的方法，允许即时进行指令引导的图像编辑。该方法通过精心编排的三个步骤进行：首先借助图像描述和 DDIM 反演，然后获取编辑方向嵌入，最后进行实际的图像编辑。尽管省去了初步准备，我们的方法被证明是有效且具有竞争力的，在 MAGICBRUSH 数据集上评估时，其性能优于近期针对此任务的最先进模型。
引用
@article{arxiv.2403.08004,
title = {Leveraging LLMs for On-the-Fly Instruction Guided Image Editing},
author = {Rodrigo Santos and João Silva and António Branco},
journal= {arXiv preprint arXiv:2403.08004},
year = {2024}
}