基于特征值谱分析的循环神经模型训练稳定性评估
神经与进化计算
2019-05-09 v1 计算机视觉与模式识别
摘要
我们通过评估储备池动力学的特征值谱，分析循环网络（具体而言为储备池计算模型）在训练过程中的稳定性。为规避带反馈的闭环储备池系统检验中出现的不稳定性，我们提出打破闭环系统。本质上，我们在时间上展开储备池动力学，同时纳入保持系统整体时间完整性的反馈效应。我们分别针对固定点目标与时变目标，采用最小二乘回归与 FORCE 训练评估了该方法。我们的分析确立了特征值谱（即随着训练推进谱圆收缩）作为衡量训练收敛性以及储备池混沌活动向稳定态收敛的有效指标。
引用
@article{arxiv.1905.03219,
title = {Evaluating the Stability of Recurrent Neural Models during Training with Eigenvalue Spectra Analysis},
author = {Priyadarshini Panda and Efstathia Soufleri and Kaushik Roy},
journal= {arXiv preprint arXiv:1905.03219},
year = {2019}
}
备注
Accepted in IJCNN 2019