缓解神经网络中的通信开销：树突非线性的作用
神经与进化计算
2025-04-09 v2 机器学习
神经元与认知
摘要
我们对生物神经元网络的理解深刻影响了人工神经网络（ANNs）的发展。然而，ANNs 中使用的神经元与其生物对应物存在显著差异，主要由于缺乏具有局部非线性的复杂树突树。早期研究提示树突非线性可大幅提升神经网络模型的学习能力。在本研究中，我们系统考察了神经网络内非线性树突的作用。利用机器学习方法，我们评估了树突非线性如何影响神经网络性能。我们的发现表明，树突非线性并未显著影响学习能力；相反，其主要益处在于通过有效的局部特征聚合，在最小化通信开销的同时实现网络容量扩展。该研究提供了关键见解，对设计旨在降低神经网络训练与推理期间通信开销的未来神经网络加速器具有重要意义。
引用
@article{arxiv.2306.11950,
title = {Mitigating Communication Costs in Neural Networks: The Role of Dendritic Nonlinearity},
author = {Xundong Wu and Pengfei Zhao and Zilin Yu and Lei Ma and Ka-Wa Yip and Huajin Tang and Gang Pan and Poirazi Panayiota and Tiejun Huang},
journal= {arXiv preprint arXiv:2306.11950},
year = {2025}
}