自注意力需要何种稠密图？

Transformer 已在各类任务中取得进展，但受限于二次的计算与内存复杂度。近期工作提出稀疏 Transformer，在稀疏图上进行注意力以降低复杂度并保持强劲性能。尽管有效，但对于表现良好所需图的稠密程度这一关键部分尚未充分探索。本文提出归一化信息载荷（NIP），一种衡量图上信息传输的图评分函数，为性能与复杂度之间的权衡提供分析工具。在该理论分析指导下，我们提出超立方体 Transformer，一种在超立方体中建模词元交互的稀疏 Transformer，在序列长度 $N$ 下以 $O(N\log N)$ 复杂度展现出与原始 Transformer 相当甚至更优的结果。在需要不同序列长度任务上的实验验证了我们图函数的良好性。