共振稀疏几何网络
机器学习
2026-01-27 v1 人工智能
神经与进化计算
摘要
我们提出了共振稀疏几何网络（RSGN），这是一种受大脑启发的体系结构，具有自组织稀疏的层次化输入依赖连接。不同于采用O(n^2)计算复杂度的稠密注意力机制的Transformer架构，RSGN在学习的双曲空间中嵌入计算节点，其中连接强度随测地距离衰减，实现针对每个输入的动态稀疏性。该架构 operates on two distinct timescales: 快速通过梯度下降优化的可微分激活传播，以及通过局部相关规则适应连接性的慢速海贝尔式结构学习。我们提供了严格的数学分析，表明RSGN实现O(n*k)的计算复杂度，其中k << n表示平均活动邻域大小。在层次分类和长程依赖任务上的实验评估表明，RSGN在长程依赖任务上达到96.5%的准确率，而仅使用标准Transformer的约15倍参数。对于具有20个类别的具有挑战性的层次分类任务，RSGN达到23.8%的准确率（与5%的随机基线相比），仅使用41,672个参数，几乎是Transformer基线所需的403,348个参数（ achieving 30.1%的准确率）。我们的消融研究确认了每个架构组件的贡献，其中海贝尔学习提供了持续的改进。这些结果表明，脑力启发的稀疏、几何组织计算的原则为更高效且更生物学可信的神经网络架构提供了有前景的方向。
引用
@article{arxiv.2601.18064,
title = {Resonant Sparse Geometry Networks},
author = {Hasi Hays},
journal= {arXiv preprint arXiv:2601.18064},
year = {2026}
}