大型循环神经网络的拓扑与动力学学习
机器学习
2015-06-23 v1 统计计算
摘要
大规模循环网络因其在建模各种现实现象和物理机制方面的能力而日益受到关注。本文研究如何在给定节点观测序列的情况下，识别循环网络中的所有真实连接并估计系统参数。由于可用观测通常噪声大且有限，且相关动力系统具有强非线性，该任务在现代网络应用中极具挑战性。通过将问题表述为多元稀疏 Sigmoid 回归，我们开发了易于实现的网络学习算法，针对多种促进稀疏性的惩罚形式提供了严格的理论收敛保证。我们提出了一种渐进式循环网络筛选的分位数变体，用于高效计算并允许直接控制估计中网络拓扑的基数。此外，我们研究了 Lyapunov 意义下的循环网络稳定性条件，并将此类稳定性约束整合到稀疏网络学习中。实验表明，所提算法在网络拓扑识别和预测方面表现优异。
引用
@article{arxiv.1410.1174,
title = {Learning Topology and Dynamics of Large Recurrent Neural Networks},
author = {Yiyuan She and Yuejia He and Dapeng Wu},
journal= {arXiv preprint arXiv:1410.1174},
year = {2015}
}