深入探究神经元异质性的力量
神经与进化计算
2023-10-16 v2
摘要
生物神经网络是一个具有高度神经元异质性的庞大而多样的结构。传统的人工神经网络（ANNs）主要通过训练修改连接权重，同时将神经元建模为高度同质化的实体，缺乏对神经元异质性的探索。仅有少数研究通过优化神经元属性与连接权重来解决神经元异质性，以确保网络性能。然而，该策略影响了神经元异质性的具体贡献。在本文中，我们首先展示了基于反向传播的方法在优化脉冲神经网络（SNNs）时所面临的挑战，并利用进化策略（ES）在随机网络中实现对异质神经元的更鲁棒优化。在working memory、连续控制和图像识别等任务上的实验表明，神经元异质性可提升性能，尤其在长序列任务中。此外，我们发现膜时间常数在神经元异质性中起着关键作用，其分布与生物实验中的观察相似。因此，我们认为被忽视的神经元异质性发挥着重要作用，为探索生物学中的神经元异质性提供了新途径，也为设计更具生物合理性的神经网络提供了新方法。
引用
@article{arxiv.2305.11484,
title = {Dive into the Power of Neuronal Heterogeneity},
author = {Guobin Shen and Dongcheng Zhao and Yiting Dong and Yang Li and Yi Zeng},
journal= {arXiv preprint arXiv:2305.11484},
year = {2023}
}