深度神经网络中的在线时空学习
机器学习
2020-10-09 v2 神经与进化计算
机器学习
摘要
生物神经网络具备通过在线学习持续适应的固有能力。这一方面与应用于循环神经网络（RNN）或最近应用于受生物启发的脉冲神经网络（SNN）的随时间反向传播（BPTT）学习形成鲜明对比。BPTT 由于需要随时间展开网络而涉及梯度的离线计算。在线学习最近重新获得了研究界的关注，重点要么放在近似 BPTT 的方法上，要么放在应用于 SNN 的生物学合理方案上。在此，我们提出了一种基于空间和时间梯度分量明确分离的替代视角。结合来自生物学的见解，我们从第一性原理推导出一种用于深度 SNN 的新型在线学习算法，称为在线时空学习（OSTL）。对于浅层网络，OSTL 在梯度上与 BPTT 等效，首次实现了使用 BPTT 等效梯度对 SNN 进行在线训练。此外，所提出的公式揭示了一类可以以低时间复杂度在线训练的 SNN 架构。而且，我们将 OSTL 扩展为一种通用形式，适用于广泛的网络架构，包括包含长短期记忆（LSTM）和门控循环单元（GRU）的网络。我们在从语言建模到语音识别的各种任务上展示了我们算法的运作，并获得了与 BPTT 基线相当的结果。所提出的算法为开发简洁高效的 SNN 以及广义深度 RNN 的在线训练方法提供了一个框架。
引用
@article{arxiv.2007.12723,
title = {Online Spatio-Temporal Learning in Deep Neural Networks},
author = {Thomas Bohnstingl and Stanisław Woźniak and Wolfgang Maass and Angeliki Pantazi and Evangelos Eleftheriou},
journal= {arXiv preprint arXiv:2007.12723},
year = {2020}
}
备注
Main manuscript: 9 pages, 3 figures, 1 table, Supplementary notes: 13 pages