BrushEdit：一体化图像修复与编辑
计算机视觉与模式识别
2025-05-06 v3 人工智能
摘要
随着基于反转和基于指令的扩散模型的发展，图像编辑技术取得了显著进步。然而，当前基于反转的方法由于反转噪声的结构化特性，难以进行大幅修改（例如添加或删除对象），这阻碍了实质性的改变。同时，基于指令的方法通常将用户限制在黑盒操作中，限制了指定编辑区域和强度的直接交互。为了解决这些局限性，我们提出了 BrushEdit，一种新颖的基于修复的指令引导图像编辑范式，它利用多模态大语言模型（MLLMs）和图像修复模型来实现自主、用户友好且交互式的自由形式指令编辑。具体而言，我们设计了一个系统，通过在智能体协作框架中集成 MLLMs 和双分支图像修复模型来执行编辑类别分类、主要对象识别、掩码获取和编辑区域修复，从而实现自由形式指令编辑。大量实验表明，我们的框架有效地结合了 MLLMs 和修复模型，在掩码区域保留和编辑效果一致性等七项指标上取得了卓越的性能。
引用
@article{arxiv.2412.10316,
title = {BrushEdit: All-In-One Image Inpainting and Editing},
author = {Yaowei Li and Yuxuan Bian and Xuan Ju and Zhaoyang Zhang and Junhao Zhuang and Ying Shan and Yuexian Zou and Qiang Xu},
journal= {arXiv preprint arXiv:2412.10316},
year = {2025}
}
备注
WebPage available at https://liyaowei-stu.github.io/project/BrushEdit/