具有层间非线性的状态空间模型是以指数衰减记忆的通用逼近器
机器学习
2023-11-02 v3 人工智能
动力系统
摘要
状态空间模型因其简单高效的网络结构在序列建模中颇受欢迎。然而，时间方向上缺乏非线性激活限制了模型的容量。本文中，我们证明堆叠具有层间非线性激活的状态空间模型足以逼近任意连续序列到序列关系。我们的发现表明，添加层间非线性激活增强了模型学习复杂序列模式的能力。同时，无论从理论还是经验上均可看出，状态空间模型并未从根本上解决指数衰减记忆的问题。理论结果通过数值验证得以证实。
引用
@article{arxiv.2309.13414,
title = {State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory},
author = {Shida Wang and Beichen Xue},
journal= {arXiv preprint arXiv:2309.13414},
year = {2023}
}
备注
18 pages, 6 figures