使用单个神经元的深度神经网络：基于反馈调制延迟环的折叠时序架构
机器学习
2021-09-15 v2 神经与进化计算
摘要
深度神经网络是应用最广泛的机器学习工具之一，在广泛任务中展现出卓越性能。我们提出一种将任意规模的深度神经网络折叠为带多个时间延迟反馈环的单个神经元的方法。该单神经元深度神经网络仅包含单一非线性及适当调整的反馈信号调制。网络状态随时间作为神经元动力学的时间展开而涌现。通过调整环内反馈调制，我们自适应网络的连接权重。这些连接权重通过反向传播算法确定，其中必须考虑延迟诱导的连接与局部网络连接。我们的方法可完整表示标准深度神经网络 (DNN)，涵盖稀疏 DNN，并将 DNN 概念扩展至动力学系统实现。这一我们称为折叠时序 DNN (Fit-DNN) 的新方法在一组基准任务中展现出有前景的性能。
引用
@article{arxiv.2011.10115,
title = {Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture using Feedback-Modulated Delay Loops},
author = {Florian Stelzer and André Röhm and Raul Vicente and Ingo Fischer and Serhiy Yanchuk},
journal= {arXiv preprint arXiv:2011.10115},
year = {2021}
}