用于序列建模的交替器

本文介绍了交替器，一种用于序列的新型非马尔可夫动力学模型族。交替器具有两个神经网络：观测轨迹网络（OTN）和特征轨迹网络（FTN）。OTN 和 FTN 协同工作，在一个周期内交替地分别在观测空间和某个特征空间中输出样本。OTN 和 FTN 的参数不依赖于时间，并通过轨迹上的最小交叉熵准则进行学习。交替器用途广泛。它们可以用作动态潜变量生成模型或序列到序列预测器。交替器能够揭示复杂序列数据背后的潜在动力学，准确预测和填补缺失数据，并采样新的轨迹。我们在三个应用中展示了交替器的能力。我们首先使用交替器对常用于描述混沌行为的 Lorenz 方程进行建模。然后，我们将交替器应用于神经科学，将大脑活动映射到身体活动。最后，我们将交替器应用于气候科学，重点关注海表温度预测。在我们所有的实验中，我们发现交替器训练稳定、采样快速，能产生高质量的生成样本和潜变量，并且在所研究的领域中通常优于 Mambas、神经 ODE 和扩散模型等强大的基线模型。