星形胶质细胞赋能脉冲神经网络在大语言建模中的进展
神经与进化计算
2023-12-27 v2 人工智能
摘要
在大脑复杂的神经结构中，星形胶质细胞在发育、结构和代谢方面发挥着关键作用。这些细胞通过三方突触调节神经活动，直接影响学习和记忆等认知过程。尽管对星形胶质细胞重要性的认识日益加深，传统的脉冲神经网络（SNN）模型仍以神经元为中心，忽视了星形胶质细胞对神经动力学的深远影响。受这些生物学见解的启发，我们开发了星形胶质细胞调制脉冲单元（AM-SU），这是一个将神经元-星形胶质细胞相互作用整合到计算范式中的创新框架，展现出跨多种硬件平台的广泛适用性。我们的星形胶质细胞调制脉冲神经网络（AstroSNN）在涉及记忆保持和自然语言生成的任务中表现出卓越性能，尤其是在处理长期依赖和复杂语言结构方面。AstroSNN 的设计不仅增强了其生物真实性，还引入了新颖的计算动力学，能够更有效地处理复杂的时间依赖关系。此外，AstroSNN 在实际应用中展现出低延迟、高吞吐量和减少的内存使用，使其非常适合资源受限的环境。通过将星形胶质细胞动力学成功整合到智能神经网络中，我们的工作缩小了生物合理性与神经建模之间的差距，为未来包含神经元和星形胶质细胞的生物启发神经计算研究奠定了基础。
引用
@article{arxiv.2312.07625,
title = {Astrocyte-Enabled Advancements in Spiking Neural Networks for Large Language Modeling},
author = {Guobin Shen and Dongcheng Zhao and Yiting Dong and Yang Li and Jindong Li and Kang Sun and Yi Zeng},
journal= {arXiv preprint arXiv:2312.07625},
year = {2023}
}