R-FORCE：随机循环神经网络的鲁棒学习
机器学习
2025-06-10 v2 神经与进化计算
神经元与认知
摘要
随机循环神经网络（RRNN）是建模和从序列数据中提取特征的最简单循环网络。然而，简单性是有代价的；已知 RRNN 在基于梯度下降的优化训练时易受梯度消失/爆炸问题影响。为增强 RRNN 的鲁棒性，已提出替代训练方法。具体而言，FORCE 学习方法提出了一种递归最小二乘替代方案来训练 RRNN，并被证明即使对于无引导输入、网络需生成动态模式这一极具挑战性的目标学习任务也适用。尽管 FORCE 训练表明解决目标学习是可能的，但它似乎仅在网络动力学特定 regime（混沌边缘）有效。因此我们研究根据定制分布初始化 RRNN 连接能否保证鲁棒 FORCE 学习。我们能够通过推断四个生成原理来生成此类分布，这些原理约束网络 Jacobian 谱保持在稳定区域内。该初始化结合 FORCE 学习提供了一种鲁棒训练方法，即鲁棒-FORCE（R-FORCE）。我们在各种目标函数及广泛网络配置上验证 R-FORCE 性能，并与替代方法比较。我们的实验表明，R-FORCE 对广泛类别的 RRNN 显著促进了更稳定和准确的目标学习。如在物理运动期间人体关节时间序列建模中所展示，此类稳定性在建模多维序列时至关重要。
引用
@article{arxiv.2003.11660,
title = {R-FORCE: Robust Learning for Random Recurrent Neural Networks},
author = {Yang Zheng and Eli Shlizerman},
journal= {arXiv preprint arXiv:2003.11660},
year = {2025}
}
备注
Github Repository: https://github.com/shlizee/R-FORCE. 28 pages, 9 figures