作为时间特征空间的动力系统

以循环网络形式参数化的状态空间模型常用于机器学习中，以从具有时间依赖性的数据流中学习。为了打破此类模型的黑箱性质，理解在状态空间中形成的输入驱动时间序列的动态特征十分重要。我们提出了一种框架，用于对消失记忆状态空间模型（如回声状态网络（ESN））中此类状态表示进行严格分析。特别地，我们将状态空间视为时间特征空间，将状态空间上的读出映射视为在该特征空间中运行的核机器。我们表明：（1）通常的 ESN 随机生成输入到状态以及状态耦合的策略导致浅记忆时间序列表示，对应于具有快速指数衰减系数的互相关算子；（2）对动态耦合施加对称性产生约束动态核，以直接指数衰减基序或最高频率的指数衰减基序匹配输入时间序列；（3）仅通过两个自由参数指定的简单循环高维储备池拓扑可以实现具有丰富匹配基序的深记忆动态核。我们量化了由动态核施加的特征表示的丰富性，并证明对于与循环储备池拓扑相关的动态核，核丰富性在稳定性边缘附近经历相变。