平衡循环神经网络：神经元时间延迟自反馈提升精度与稳定性
机器学习
2019-03-05 v1 计算机视觉与模式识别
机器学习
摘要
我们提出一种新颖的{\it 平衡循环神经网络}（ERNN）以应对传统 RNN 中不准确与不稳定的问题。借鉴神经科学中的自突触（autapse）概念，我们提出为 RNN 增加时间延迟自反馈环路。我们的唯一目的是修改每个内部 RNN 状态的动力学，并随时强制其演化为接近该时刻输入信号所对应的平衡点。我们表明，此类自反馈有助于稳定隐状态转移，从而在训练中实现快速收敛，同时高效学习有判别力的潜特征，在测试时多个基准数据集上取得最先进结果。我们提出一种新颖的不精确牛顿法，以在给定模型参数下求解固定点条件来生成各隐状态的潜特征。我们证明该不精确牛顿法在局部以线性速率收敛（在温和条件下）。我们借助此结果基于反向传播高效训练 ERNN。
引用
@article{arxiv.1903.00755,
title = {Equilibrated Recurrent Neural Network: Neuronal Time-Delayed Self-Feedback Improves Accuracy and Stability},
author = {Ziming Zhang and Anil Kag and Alan Sullivan and Venkatesh Saligrama},
journal= {arXiv preprint arXiv:1903.00755},
year = {2019}
}