随机注意力：受脑连接组启发的随机路由用于表达性线性时间注意力
计算与语言
2026-05-06 v2 机器学习
摘要
果蝇的全脑连接组包含超过13万个神经元，连接概率仅为0.02%，但平均最短路径仅为4.4跳。尽管在电路层面高度结构化，该网络的长程连接广泛分布于脑区，作为随机捷径实现高效的全局通信。受此观察启发，我们提出了随机注意力(SA)，一种滑动窗口注意力(SWA)的即插即用增强方法，它在窗口注意力之前对token序列应用随机排列，并在之后恢复原始顺序。这在相同的每层O(nw)预算内将固定的局部窗口转变为随机全局窗口。通过深度，独立采样的排列产生指数增长的感受野，在O(log_w n)层内实现全序列覆盖，而SWA需要O(n/w)层。我们在两个设置中验证了SA：从头预训练语言模型，其中门控SA+SWA组合取得了最佳的平均零样本准确率；以及在Qwen3-8B和Qwen3-30B-A3B上的免训练推理，其中SA始终优于SWA，并在可比计算预算下匹配或超越混合块注意力。这些结果表明，受连接组启发的随机路由是提高高效注意力表达力的实用原语，补充了现有的线性和稀疏方法。
引用
@article{arxiv.2604.00754,
title = {Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention},
author = {Zehao Jin and Yanan Sui},
journal= {arXiv preprint arXiv:2604.00754},
year = {2026}
}