通过时间反演对称性破缺学习长程依赖

深度状态空间模型（SSM）重新点燃了基于物理的计算范式，因为 RNN 可以自然地嵌入到动力系统中。这需要遵循核心物理原理的专用学习算法，以及高效模拟这些系统并指导其设计的技术。我们提出了循环哈密顿回声学习（Recurrent Hamiltonian Echo Learning, RHEL），该算法可证明地将损失梯度计算为非耗散哈密顿系统物理轨迹的有限差分。在机器学习术语中，RHEL 仅需要三次"前向传播"，与模型大小无关，无需显式雅可比矩阵计算，也不产生梯度估计中的任何方差。受我们算法物理实现的启发，我们首先在连续时间中引入 RHEL，并证明其与连续伴随态方法的形式等价性。为了便于由 RHEL 训练的哈密顿系统的模拟，我们提出了 RHEL 的离散时间版本，当应用于一类称为哈密顿循环单元（HRU）的循环模块时，该版本等价于通过时间反向传播（BPTT）。这一设置使我们能够通过将这些结果推广到 HRU 的层次结构——即哈密顿 SSM（HSSM）——来展示 RHEL 的可扩展性。我们将 RHEL 应用于训练具有线性和非线性动力学的 HSSM，在各种时间序列任务上，从中程到长程分类和回归，序列长度达到约 50k。我们表明 RHEL 在所有模型和任务上始终与 BPTT 的性能一致。这项工作为设计具有自学习能力的可扩展、节能物理系统以进行序列建模开辟了新途径。