基于谱均值流的序列建模
机器学习
2025-10-20 v1
摘要
使用神经网络进行序列建模的一个关键问题是如何表示和学习高度非线性和概率性的状态动态。算子理论将这种动态视为包含分布均值嵌入向量的希尔伯特空间上的线性映射，提供了一个有吸引力但目前被忽视的视角。我们提出了一种基于隐马尔可夫模型(HMM)算子理论视角的序列建模新方法。我们不具体化随机递推，而是将完整序列分布嵌入为乘积希尔伯特空间中的张量。然后，生成过程被定义为序列空间中的最大均值差异(MMD)梯度流。为了克服大张量和慢采样收敛的挑战，我们引入了谱均值流，这是一种新颖的可处理算法，整合了两个核心概念。首先，我们通过利用线性算子的谱分解来推导序列均值嵌入的可扩展张量网络分解，提出了一种新的神经架构。其次，我们将MMD梯度流扩展到时间相关的希尔伯特空间，并通过连续性方程将其与流匹配联系起来，实现了无模拟学习和更快的采样。我们在多个时间序列建模数据集上展示了有竞争力的结果。代码可在https://github.com/jw9730/spectral-mean-flow获取。
引用
@article{arxiv.2510.15366,
title = {Sequence Modeling with Spectral Mean Flows},
author = {Jinwoo Kim and Max Beier and Petar Bevanda and Nayun Kim and Seunghoon Hong},
journal= {arXiv preprint arXiv:2510.15366},
year = {2025}
}
备注
30 pages, 9 figures