面向图像定制的多方协作注意力控制
计算机视觉与模式识别
2025-05-06 v1
摘要
扩散模型的快速发展增加了对定制化图像生成的需求。然而，当前的定制方法面临若干局限：1）通常仅接受图像或文本条件中的一种；2）在复杂视觉场景中的定制常导致主体泄露或混淆；3）基于图像条件的输出往往存在背景不一致的问题；4）计算成本高。为解决这些问题，本文提出了多方协作注意力控制（MCA-Ctrl），这是一种无需调优的方法，能够利用文本和复杂视觉条件实现高质量的图像定制。具体而言，MCA-Ctrl 利用自注意力层中的两个关键操作来协调多个并行的扩散过程并引导目标图像生成。该方法使 MCA-Ctrl 能够捕捉特定主体的内容和外观，同时保持与条件输入的语义一致性。此外，为缓解复杂视觉场景中常见的主体泄露和混淆问题，我们引入了一个主体定位模块，该模块根据用户指令提取精确的主体和可编辑图像层。大量的定量和人工评估实验表明，MCA-Ctrl 在零样本图像定制方面优于现有方法，有效解决了上述问题。
引用
@article{arxiv.2505.01428,
title = {Multi-party Collaborative Attention Control for Image Customization},
author = {Han Yang and Chuanguang Yang and Qiuli Wang and Zhulin An and Weilun Feng and Libo Huang and Yongjun Xu},
journal= {arXiv preprint arXiv:2505.01428},
year = {2025}
}