CAMAL：利用分割掩码提升注意力对齐性与忠实性
图像与视频处理
2026-05-12 v1 人工智能
机器学习
摘要
许多视觉数据集现已提供除标注图像外的分割掩码，以支持广泛的任务。在本工作中，我们提出了类别激活图注意力学习（Class Activation Map Attention Learning, CAMAL），这是一种高效且可扩展的方法，利用分割掩码提高视觉模型的注意力对齐性和忠实性。具体而言，注意力对齐性指模型注意力与真实判别区域对齐的程度，而注意力忠实性指模型注意力影响其决策的程度。提高注意力对齐性和忠实性对于确保模型注意力在空间上精确且在因果上具有意义至关重要。为提高视觉模型的注意力对齐性和忠实性，CAMAL首先在训练期间提取每个图像的模型注意力，然后将注意力与来自相应分割掩码的真实判别区域进行比较。CAMAL充当辅助正则器，鼓励与真实判别区域对齐的注意力，同时抑制其他区域的注意力。我们在两种学习范式——深度学习（DL）和深度强化学习（DRL）——上评估了CAMAL，观察到在注意力对齐性和忠实性方面两种范式中均实现一致的显著性改进。特别地，CAMAL在所有设置下均实现注意力对齐性的统计显著性提升，并将注意力忠实性提高了35%以上。此外，我们表明改进的注意力对齐性和忠实性有助于提高可解释性，同时在不增加推理成本的情况下提升或保持相当的泛化性能。这些发现表明，分割掩码中包含的空间信息可以有效地用于指导跨学习任务的模型注意力。
引用
@article{arxiv.2605.08325,
title = {CAMAL: Improving Attention Alignment and Faithfulness with Segmentation Masks},
author = {Rajdeep Singh Hundal and Yan Xiao and Jin Song Dong and Manuel Rigger},
journal= {arXiv preprint arXiv:2605.08325},
year = {2026}
}