选择性聚合注意力图改善基于扩散的视觉解释
计算机视觉与模式识别
2026-04-08 v1 人工智能
摘要
许多关于文本到图像（T2I）生成模型的研究利用交叉注意力图来提升应用性能和解释模型行为。然而，不同注意力头产生的注意力图的独特特征仍相对未被充分探索。在本研究中，我们证明选择性聚合与目标概念最相关的注意力头所产生的交叉注意力图可以提升视觉可解释性。与基于扩散的分割方法DAAM相比，我们的方法实现了更高的平均IoU分数。我们还发现，最相关的注意力头比最不相关的注意力头更准确地捕捉了概念特定特征，且选择性聚合有助于诊断提示误读。这些发现表明，注意力头选择为提升T2I生成的可解释性和可控性提供了一个有前景的方向。
引用
@article{arxiv.2604.05906,
title = {Selective Aggregation of Attention Maps Improves Diffusion-Based Visual Interpretation},
author = {Jungwon Park and Jungmin Ko and Dongnam Byun and Wonjong Rhee},
journal= {arXiv preprint arXiv:2604.05906},
year = {2026}
}