基于组相对注意力引导的图像编辑
计算机视觉与模式识别
2025-12-01 v2
摘要
最近，基于扩散-Transformer 模型的图像编辑技术取得了快速发展。然而，现有的编辑方法往往缺乏对编辑程度有效的控制，限制了其实现更定制化结果的能力。为此，我们研究了 DiT 模型中的 MM-Attention 机制，观察到查询 (Query) 和键 (Key) 标记共享一个仅与图层相关的偏置向量。我们将该偏置解释为模型固有的编辑行为，而每个标记与其对应偏置之间的差值则编码了内容特定的编辑信号。基于这一洞察，我们提出了组相对注意力引导 (Group Relative Attention Guidance)，这是一种简单而有效的方法，通过对不同标记的差值进行重新加权来调节模型对输入图像相对于编辑指令的关注度，从而实现对编辑强度的连续且细粒度的控制，而无需任何调参。在现有图像编辑框架上进行的大量实验表明，GRAG 可仅通过四行代码即可集成，始终提升编辑质量。此外，与常用的无分类器引导 (Classifier-Free Guidance) 相比，GRAG 实现了对编辑程度的更平滑和更精确的控制。我们的代码将在 https://github.com/little-misfit/GRAG-Image-Editing 上发布。
引用
@article{arxiv.2510.24657,
title = {Group Relative Attention Guidance for Image Editing},
author = {Xuanpu Zhang and Xuesong Niu and Ruidong Chen and Dan Song and Jianhao Zeng and Penghui Du and Haoxiang Cao and Kai Wu and An-an Liu},
journal= {arXiv preprint arXiv:2510.24657},
year = {2025}
}