零代价的认知对齐：引入人类注意力偏差以构建可解释的 Vision Transformer
计算机视觉与模式识别
2026-04-23 v1 人工智能
摘要
对于最先进的图像理解，Vision Transformer（ViT）已成为标准架构，但其处理过程与人类注意力特征存在显著差异。我们研究了是否可以通过在人类显著性注视图上微调 Google 的 ViT-B/16 的自注意力权重来缩小这一认知差距。为了将语义相关信号的影响与通用人类监督区分开来，我们将微调后的模型与打乱控制组进行了比较。微调显著改善了五个显著性指标上的对齐，并引发了三种标志性的人类般偏差：微调逆转了基线模型反人类的大型物体偏差，使其转向小型物体；放大了生命性偏好；并降低了极端的注意力熵。贝叶斯等同性分析提供了决定性至非常强的证据，表明这种认知对齐不会损害模型在分布内（ImageNet）、损坏（ImageNet-C）和分布外（ObjectNet）基准测试上的原始分类性能。将等效程序应用于 ResNet-50 卷积神经网络（CNN）反而降低了对齐度和准确率，这表明 ViT 的模块化自注意力机制独特地适合于将空间优先级与表征逻辑分离。这些发现表明，生物学先验可以作为人类对齐注意力的免费涌现特性被注入，从而提升 Transformer 的可解释性。
引用
@article{arxiv.2604.20027,
title = {Cognitive Alignment At No Cost: Inducing Human Attention Biases For Interpretable Vision Transformers},
author = {Ethan Knights},
journal= {arXiv preprint arXiv:2604.20027},
year = {2026}
}