基于流形学习的 LSTM 内部状态初始化
机器学习
2021-09-29 v2 人工智能
机器学习
斑图形成与孤子
摘要
我们提出一种基于学习内在数据流形的方法，用于初始化 LSTM 循环神经网络的内部状态值，确保其与被观测的初始输入数据一致。利用广义同步概念，我们认为收敛的、“成熟”的内部状态构成了该学习流形上的一个函数。该流形的维数进而决定了用于一致初始化所需的观测输入时间序列数据的长度。我们通过一个部分观测的化学模型系统来说明我们的方法，以这种方式初始化 LSTM 内部状态可带来明显提升的性能。最后，我们表明学习该数据流形能够将部分观测的动力学转化为完全观测的动力学，为非线性动力系统的替代辨识路径提供便利。
引用
@article{arxiv.2104.13101,
title = {Initializing LSTM internal states via manifold learning},
author = {Felix P. Kemeth and Tom Bertalan and Nikolaos Evangelou and Tianqi Cui and Saurabh Malani and Ioannis G. Kevrekidis},
journal= {arXiv preprint arXiv:2104.13101},
year = {2021}
}