CLUENet：聚类注意力让神经网络拥有眼睛
计算机视觉与模式识别
2025-12-22 v2
摘要
尽管卷积和注意力模型在视觉任务中取得了成功，但其刚性感受野和复杂的架构限制了其建模不规则空间模式的能力，并阻碍了可解释性，因此对需要高模型透明度的任务构成了挑战。聚类范式提供了可解释性和灵活的语义建模，但受限于准确率、效率低以及训练期间的梯度消失。为此，我们提出一种用于视觉语义理解的透明深度架构CLUcluster attEntion Network（CLUENet）。我们提出了三个关键创新包括：(i) 全局软聚合与硬分配，采用温度缩放的余弦注意力和门控残差连接以增强局部建模；(ii) 跨块硬派生和共享特征调度；(iii) 改进的聚类池化策略。这些改进显著提高了分类性能和视觉可解释性。在 CIFAR-100 和 Mini-ImageNet 上的实验表明，CLUENet 超过了现有的聚类方法和主流视觉模型，实现了准确率、效率和透明度之间的引人注目的平衡。
引用
@article{arxiv.2512.06345,
title = {CLUENet: Cluster Attention Makes Neural Networks Have Eyes},
author = {Xiangshuai Song and Jun-Jie Huang and Tianrui Liu and Ke Liang and Chang Tang},
journal= {arXiv preprint arXiv:2512.06345},
year = {2025}
}
备注
10 pages, 6 figures, 2026 Association for the Advancement of Artificial Intelligence