泄漏积分发放神经元在深度学习架构中的集成
神经与进化计算
2022-10-03 v2 机器学习
神经元与认知
摘要
迄今为止,现代机器学习主要基于将高维函数拟合到海量数据集,并利用庞大的硬件资源。我们表明,受生物启发的神经元模型(如泄漏积分发放(LIF)神经元)提供了新颖且高效的信息编码方式。它们可被集成到机器学习模型中,并有望提升机器学习性能。为此,我们从微分方程中推导出LIF单元的简易更新规则,便于数值积分。我们采用一种新方法,通过在反向传播步骤中仅为神经元激活函数导数赋予常数值,从而通过反向传播对LIF单元进行有监督训练。这一简单的数学技巧有助于在预连接层的神经元之间分配误差。我们将该方法应用于IRIS鸢尾花图像数据集,表明该训练技术可用于训练LIF神经元完成图像分类任务。此外,我们展示了如何将该方法集成到KERAS(tensorflow)框架中并在GPU上高效运行。为深入理解训练过程中的机制,我们开发了交互式图示并在线提供。本研究旨在为当前通过整合生物学原理来增强机器智能的努力做出贡献。
引用
@article{arxiv.2004.13532,
title = {Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures},
author = {Richard C. Gerum and Achim Schilling},
journal= {arXiv preprint arXiv:2004.13532},
year = {2022}
}