内在与外在组织注意力：Softmax 不变性与网络稀疏性
数值分析
2025-06-19 v1 人工智能
数值分析
摘要
我们考察了Transformer中自注意力机制的内在(注意力头内部)和外在(注意力头之间)结构。通过利用 paradifferential 微积分(并通过计算实例得到支持)，获得了自注意力机制对softmax激活的不变性理论证据，这依赖于注意力头的内在组织。此外，我们使用现有方法对张量进行层次化组织，以构建关于查询、键和头轴的网络3张量的层次分区树。这种组织具有重要意义，因为它允许在注意力组织的3张量 exhibiting 规律性的几何上执行常见信号处理任务。我们通过定性地可视化注意力头和扩散图嵌入的层次组织，以及定量地通过调查单个注意力头和整个网络相对于 bi 和 tri-haar 基的展开系数来研究网络稀疏性(分别针对查询、键和头的空间)。为了展示我们理论和方法发现的实用性，我们提供了使用视觉和语言Transformer的计算示例。这些发现的后果有两个方面：(1)可获得的可解释性分析的下一步，能够被用于下游可解释性任务(2)可以利用网络3张量组织进行经验网络应用，如模型修剪(凭借网络稀疏性)和网络架构比较。
引用
@article{arxiv.2506.15541,
title = {Intrinsic and Extrinsic Organized Attention: Softmax Invariance and Network Sparsity},
author = {Oluwadamilola Fasina and Ruben V. C. Pohle and Pei-Chun Su and Ronald R. Coifman},
journal= {arXiv preprint arXiv:2506.15541},
year = {2025}
}
备注
16 pages, 6 figures, 2 tables