LIAF-Net：用于轻量高效时空信息处理的泄漏积分模拟发放网络
机器学习
2022-03-04 v1 人工智能
摘要
基于泄漏积分发放（LIF）模型的脉冲神经网络（SNNs）已应用于节能的时间与时空处理任务。得益于生物可信的神经元动力学与简洁性，LIF-SNN 具备事件驱动处理的优势，但通常面临性能下降的窘境。这可能是因为 LIF-SNN 中神经元通过脉冲传输信息。为解决此问题，本文提出泄漏积分模拟发放（LIAF）神经元模型，使模拟值可在神经元间传输，并据此构建称为 LIAF-Net 的深度网络以高效处理时空信息。在时间域，LIAF 遵循传统 LIF 动力学以维持其时间处理能力。在空间域，LIAF 能够通过卷积积分或全连接积分整合空间信息。作为时空层，LIAF 也可与传统人工神经网络（ANN）层联合使用。实验结果表明，LIAF-Net 在 bAbI 问答（QA）任务上取得与门控循环单元（GRU）和长短期记忆（LSTM）相当的性能，并在包括 MNIST-DVS、CIFAR10-DVS 和 DVS128 Gesture 在内的时空动态视觉传感器（DVS）数据集上取得最先进性能，且相比由 LSTM、GRU、卷积 LSTM（ConvLSTM）或 3D 卷积（Conv3D）构建的传统网络，突触权重数与计算开销大幅减少。相比传统 LIF-SNN，LIAF-Net 在所有这些实验中也展现出显著的准确率提升。综上，LIAF-Net 提供了一种结合 ANN 与 SNN 优势以实现轻量高效时空信息处理的框架。
引用
@article{arxiv.2011.06176,
title = {LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and Efficient Spatiotemporal Information Processing},
author = {Zhenzhi Wu and Hehui Zhang and Yihan Lin and Guoqi Li and Meng Wang and Ye Tang},
journal= {arXiv preprint arXiv:2011.06176},
year = {2022}
}
备注
14 pages, 9 figures, submitted to IEEE Transactions on Neural Networks and Learning Systems