利用隔离注意力和重新定位注意力提高开放领域图像生成中多主体一致性
计算机视觉与模式识别
2025-03-11 v2
摘要
训练自由扩散模型在开放领域场景下生成多主体一致图像方面取得了显著进展。这些方法的关键思想是将参考主体信息融入注意力层。然而，现有方法在处理大量主体时仍表现 suboptimal。本文揭示了导致这一不足的两个主要问题：其一，目标图像中不同主体之间存在不必要的内部吸引，导致多个主体收敛为单个实体；其二，标记（token）倾向于引用附近的标记，当主体在参考图像和目标图像中的位置差异显著时，会降低注意力机制的有效性。为解决这些问题，我们提出了一种名为 IR-Diffusion 的训练自由扩散模型，集成了隔离注意力和重新定位注意力。具体而言，隔离注意力确保目标图像中的多个主体不相互引用，从而有效消除主体的聚合；而重新定位注意力则通过对参考图像和目标图像中的主体进行比例缩放和重新定位，将其置于图像的同一位置。这确保了目标图像中的主体能够更好地引用参考图像中的主体，从而维持更好的一致性。大量实验表明，IR-Diffusion 在开放领域场景下显著提升了多主体一致性，超越了所有现有方法。
引用
@article{arxiv.2411.19261,
title = {Improving Multi-Subject Consistency in Open-Domain Image Generation with Isolation and Reposition Attention},
author = {Huiguo He and Qiuyue Wang and Yuan Zhou and Yuxuan Cai and Hongyang Chao and Jian Yin and Huan Yang},
journal= {arXiv preprint arXiv:2411.19261},
year = {2025}
}