循环神经网络与有理系统的实现理论
最优化与控制
2019-03-19 v2
摘要
在本文中，我们证明在温和假设下，连续时间循环神经网络（RNN）的输入-输出行为可由有理或多项式非线性系统表示。该假设涉及 RNN 的激活函数，且为双曲正切等许多经典激活函数所满足。我们还给出了构造该多项式与有理系统的算法。将 RNN 嵌入有理系统有助于 RNN 的稳定性、可辨识性与实现理论，因为这些问题已在多项式/有理系统中得到研究。特别地，我们利用该嵌入推导了 RNN 可实现输入-输出映射的必要条件，以及 RNN 极小性的充分条件。
引用
@article{arxiv.1903.05609,
title = {Realization theory of recurrent neural networks and rational systems},
author = {Thibault Defourneau and Mihaly Petreczky},
journal= {arXiv preprint arXiv:1903.05609},
year = {2019}
}