聚焦你的指令：通过注意力调制实现细粒度多指令图像编辑
计算机视觉与模式识别
2023-12-19 v1
摘要
近年来，基于扩散的方法（如InstructPix2Pix（IP2P））实现了有效的基于指令的图像编辑，仅需用户提供自然语言指令。然而，这些方法常常无意中改变非目标区域，并且在多指令编辑中表现不佳，导致结果受损。为解决这些问题，我们引入了“聚焦你的指令”（FoI），一种无需额外训练或测试时优化的方法，旨在确保跨多个指令的精确和谐编辑。在FoI中，我们主要强调两个方面：（1）精确提取每个指令的感兴趣区域；（2）引导去噪过程集中在这些感兴趣区域内。对于第一个目标，我们从指令与图像之间的交叉注意力中识别出IP2P的隐式定位能力，然后开发了一种有效的掩码提取方法。对于第二个目标，我们引入了一个交叉注意力调制模块，用于粗略隔离目标编辑区域和非相关区域。此外，我们引入了一种掩码引导的解耦采样策略，以进一步确保清晰的区域隔离。实验结果表明，FoI在定量和定性评估中均优于现有方法，尤其是在多指令编辑任务中表现出色。
引用
@article{arxiv.2312.10113,
title = {Focus on Your Instruction: Fine-grained and Multi-instruction Image Editing by Attention Modulation},
author = {Qin Guo and Tianwei Lin},
journal= {arXiv preprint arXiv:2312.10113},
year = {2023}
}
备注
14 pages, 9 figures