关于图像编辑位置的再思考：基于指令的图像编辑任务感知局部化
计算机视觉与模式识别
2026-04-23 v1
摘要
基于指令的图像编辑（IIE）旨在根据文本指令修改图像，同时保留与无关内容。尽管近期在扩散转换器方面取得了进展，现有方法仍常常出现过度编辑问题，引入对与所需编辑无关的区域的意外更改。我们识别到这一局限性源于缺乏对编辑局部化的显式机制。具体而言，不同的编辑操作（如添加、删除和替换）会引发不同的空间模式，而当前的IIE模型通常以任务中性方式处理局部化。为解决这一局限性，我们提出了一种训练-free、任务感知的编辑局部化框架，利用IIE模型中源图像流和目标图像流的内在来源。对于每个图像流，我们首先获得基于注意力的编辑线索，然后根据这些注意力线索构建特征质心，以将标记划分为编辑区域和非编辑区域。基于最佳局部化本质上是任务相关的观察，我们进一步引入一种统一的掩码构建策略，针对不同的编辑任务有选择地利用源图像流和目标图像流。我们提供了对我们提出的见解和方法的系统性分析。在EdiVal-Bench上的大量实验表明，我们的框架在保持强大的指令跟随性能的同时，始终改善了非编辑区域的一致性，优于包括Step1X-Edit和Qwen-Image-Edit在内的强大的近期图像编辑底层模型。
引用
@article{arxiv.2604.20258,
title = {Rethinking Where to Edit: Task-Aware Localization for Instruction-Based Image Editing},
author = {Jingxuan He and Xiyu Wang and Mengyu Zheng and Xiangyu Zeng and Yunke Wang and Chang Xu},
journal= {arXiv preprint arXiv:2604.20258},
year = {2026}
}