基于注意力模式图的注意力控制（ASAC）：一种受认知启发的 Transformer 注意力管理方法
人工智能
2025-09-22 v1 机器学习
摘要
注意力机制已成为人工智能的核心组成部分，通过借鉴人类认知显著提升了模型性能与可扩展性。与此同时，认知科学中的注意力模式图理论（Attention Schema Theory, AST）提出，个体通过为注意力本身建立模型来管理注意力，从而有效地分配认知资源。受 AST 启发，我们提出了 ASAC（基于注意力模式图的注意力控制，Attention Schema-based Attention Control），将注意力模式图概念引入人工神经网络。我们的初步实验集中在将 ASAC 模块嵌入 Transformer 架构中。该模块采用向量量化变分自编码器（VQVAE）作为注意力抽象器与控制器，以实现精确的注意力管理。通过显式地建模注意力分配，我们的方法旨在提升系统效率。我们在视觉和 NLP 领域均验证了 ASAC 的有效性，突出了其提高分类准确率并加速学习过程的能力。我们在多个数据集上对视觉 Transformer 的实验表明，该注意力控制器不仅能提升分类准确率，还能加速学习。此外，我们还在含噪声和分布外数据集上验证了模型的鲁棒性与泛化能力。另外，我们展示了其在多任务设定下的性能提升。快速实验表明，基于注意力模式图的模块增强了对对抗攻击的抵御能力，优化了注意力以提高学习效率，并促进了有效的迁移学习与小样本学习。这些极具前景的结果建立了认知科学与机器学习之间的联系，为人工智能系统中注意力机制的高效利用提供了启示。
引用
@article{arxiv.2509.16058,
title = {Attention Schema-based Attention Control (ASAC): A Cognitive-Inspired Approach for Attention Management in Transformers},
author = {Krati Saxena and Federico Jurado Ruiz and Guido Manzi and Dianbo Liu and Alex Lamb},
journal= {arXiv preprint arXiv:2509.16058},
year = {2025}
}