基于李雅普诺夫谱表示的循环神经网络性能分析
机器学习
2023-12-29 v2 动力系统
混沌动力学
机器学习
摘要
循环神经网络（RNN）是处理序列和多变量时间序列数据的普遍计算系统。尽管已有若干鲁棒的 RNN 架构，但如何将 RNN 初始化、架构及其他超参数与特定任务的准确率关联起来仍不清楚。在本工作中，我们提出将 RNN 视为动力系统，并通过专为非线性动力系统设计的李雅普诺夫谱分析将超参数与准确率相关联。针对 RNN 特征超出已有李雅普诺夫谱分析范围这一问题，我们提出利用自编码器及其潜表示的嵌入（AeLLE）从李雅普诺夫谱推断相关特征。我们对多种 RNN 架构的研究表明，AeLLE 成功地将 RNN 李雅普诺夫谱与准确率相关联。此外，AeLLE 学习到的潜表示可泛化到同一任务中的新输入，并在 RNN 训练过程中早期形成。后一特性使得能够预测 RNN 训练完成时所收敛到的准确率。我们得出结论：通过李雅普诺夫谱结合 AeLLE 对 RNN 的表示，为组织和解释各类 RNN 架构变体提供了一种新方法。
引用
@article{arxiv.2204.04876,
title = {Lyapunov-Guided Representation of Recurrent Neural Network Performance},
author = {Ryan Vogt and Yang Zheng and Eli Shlizerman},
journal= {arXiv preprint arXiv:2204.04876},
year = {2023}
}
备注
26 pages, 7 figures, 4 tables