深度注意力重加权：基于后置注意力的特征聚合，以解缔核心与虚构特征
计算机视觉与模式识别
2026-05-21 v1
摘要
卷积神经网络（CNN）常利用数据集中的虚构关联，学习表面上可预测却在因果上无关的特征，导致泛化差且公平性问题。深度特征重加权（Deep Feature Reweighting, DFR）是一种后置技术，通过在目标数据集上重新训练分类头来减少模型对虚构关联的依赖。然而，我们表明 DFR 受限于 operates on entangled features，限制其同时放大核心特征又抑制虚构特征的能力。我们追溯到普遍使用的全局平均池化（GAP）层——其对空间上各异的核心与虚构特征进行无差别的坍缩。为此，我们提出深度注意力重加权（Deep Attention Reweighting, DAR），一种后置注意力聚合模块，用以取代 GAP，并与分类头联合重新训练。DAR 计算特征图中空间位置的自适应加权，实现对坍缩为缠杂特征前的虚构特征的选择性抑制。跨各种数据集、指标和消融实验，DAR 持续优于 DFR，证明注意力聚合缓解了 GAP 引起的缠杂，减少了虚构依赖。
引用
@article{arxiv.2605.20732,
title = {Deep Attention Reweighting: Post-Hoc Attention-Based Feature Aggregation in CNNs for Disentangling Core and Spurious Features under Spurious Correlations},
author = {Kin Whye Chew and Jingxian Wang},
journal= {arXiv preprint arXiv:2605.20732},
year = {2026}
}
备注
Under review. 26 pages, 7 figures