关于 RNN 的李雅普诺夫指数：使用动力系统工具理解信息传播
机器学习
2020-06-26 v1 动力系统
混沌动力学
机器学习
摘要
循环神经网络（RNNs）已成功应用于多种涉及序列数据的问题，但其优化对参数初始化、架构及优化器超参数十分敏感。将 RNNs 视为动力系统，捕捉稳定性（即长迭代下的增长与衰减）的一种自然方式是李雅普诺夫指数（LEs），其构成李雅普诺夫谱。LEs 与 RNN 训练动力学的稳定性相关，因为信息的前向传播与误差梯度的反向传播相关联。LEs 度量非线性系统轨迹的渐近膨胀与收缩速率，并将稳定性分析推广至构建数据驱动的 RNNs 非自治动力学的时变吸引子。作为理解和利用训练动力学稳定性的工具，李雅普诺夫谱填补了有限范围的规范性数学方法与计算昂贵的经验方法之间的现有空白。为利用此工具，我们实现了一种在训练期间高效计算 RNN LEs 的方法，讨论了由典型序列数据集驱动的标准 RNN 架构所特有的方面，并展示李雅普诺夫谱可作为跨超参数训练稳定性的稳健读出。借助这一以阐释为导向的贡献，我们希望引起对这只被较少研究但具有理论依据的理解 RNN 训练稳定性工具的关注。
引用
@article{arxiv.2006.14123,
title = {On Lyapunov Exponents for RNNs: Understanding Information Propagation Using Dynamical Systems Tools},
author = {Ryan Vogt and Maximilian Puelma Touzel and Eli Shlizerman and Guillaume Lajoie},
journal= {arXiv preprint arXiv:2006.14123},
year = {2020}
}
备注
Associated github repository: https://github.com/shlizee/lyapunov-hyperopt