中文

PromptArtisan:基于完全注意力控制的单次多指令图像编辑

计算机视觉与模式识别 2025-02-17 v1 人机交互

摘要

我们提出了 PromptArtisan,一种突破性的多指令图像编辑方法,在单次通过中取得了显著结果,消除了耗时迭代优化的需要。我们的方法使用户能够提供多条编辑指令,每条指令与图像中的一个特定掩码相关联。这种灵活性允许涉及掩码交集或重叠的复杂编辑,从而实现复杂而精细的图像变换。PromptArtisan 利用预训练的 InstructPix2Pix 模型,结合一种新颖的完全注意力控制机制(CACM)。该机制确保对用户指令的精确遵循,为编辑过程提供了细粒度的控制。此外,我们的方法是零样本的,无需额外训练,并且相比传统迭代方法具有改进的处理复杂度。通过无缝集成多指令能力、单次通过效率和完全注意力控制,PromptArtisan 为创意和高效的图像编辑工作流开启了新的可能性,同时满足初学者和专家用户的需求。

关键词

引用

@article{arxiv.2502.10258,
  title  = {PromptArtisan: Multi-instruction Image Editing in Single Pass with Complete Attention Control},
  author = {Kunal Swami and Raghu Chittersu and Pranav Adlinge and Rajeev Irny and Shashavali Doodekula and Alok Shukla},
  journal= {arXiv preprint arXiv:2502.10258},
  year   = {2025}
}

备注

Accepted in ICASSP 2025