基于稀疏高效人工神经网络的仿生级集成到集成通信原语
机器学习
2025-09-23 v2 人工智能
摘要
生物神经环路的结构—模块化、层次化和稀疏互连—反映了线路成本、功能专化和鲁棒性之间高效权衡。这些原则为人工神经网络(ANN)设计提供了宝贵的见解，特别是当网络在深度和规模方面不断增长时。稀疏性尤其被广泛探索，用于减少内存和计算、提高速度并增强泛化。在受系统神经科学发现启发的情况下，我们探索了视觉皮层中功能互连模式——具体而言是ensemble-to-ensemble通信——如何为ANN设计提供指导。我们引入了G2GNet，这是一种新型架构，在前馈层之间施加稀疏、模块化的互连。尽管参数数量显著少于全连接模型，G2GNet仍在标准视觉基准测试中实现了优异的准确率。迄今为止，这是第一个将生物学观察到的功能互连模式作为ANN设计结构偏置纳入架构的模型。我们通过动态稀疏训练(DST)机制引入这种静态偏置，该机制在训练期间修剪和再生边缘。我们还提出了基于激活相关性的Hebb式重构规则，借鉴生物可塑性原理。G2GNet在包含Fashion-MNIST、CIFAR-10和CIFAR-100的基准测试中实现了最高75%的稀疏度，准确率提升最高可达4.3%，显著优于参数更少的密集基线模型。
引用
@article{arxiv.2508.14140,
title = {Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs},
author = {Orestis Konstantaropoulos and Stelios Manolis Smirnakis and Maria Papadopouli},
journal= {arXiv preprint arXiv:2508.14140},
year = {2025}
}