通过典范化在循环网络中进行降维

许多循环神经网络机器学习范式可使用状态空间表示来表述。本文调整了经典的典范状态空间实现概念以容纳半无限输入，从而使其可用作循环网络设置中的降维工具。所谓的输入遗忘性质被确定为关键假设，它保证了具有半无限输入的因果时不变输入/输出系统之典范实现的存在性与唯一性（模系统同构）。此外，源自对称哈密顿系统理论的最优约化概念被引入我们的设置中，以从输入遗忘但未必典范的系统构造典范实现。这两种过程在线性渐消记忆输入/输出系统的框架中被详细研究。最后，引入了使用再生核希尔伯特空间（RKHS）的隐式约化概念，对于具有线性读出的系统，它允许在不需实际计算本文第一部分所引入的约化空间的情况下实现降维。