无需重构的潜在动力学最大似然学习
机器学习
2025-05-30 v1 机器学习
摘要
我们提出了一种用于具有潜在动力学结构的时间序列数据的新型无监督学习方法：识别参数化高斯状态空间模型（RP-GSSM）。RP-GSSM 是一种概率模型，它学习马尔可夫高斯潜在变量以解释不同时间步观测值之间的统计依赖性，将对比方法的直觉与概率生成模型的灵活工具相结合。与对比方法不同，RP-GSSM 是通过最大似然学习到的有效概率模型。与生成方法不同，RP-GSSM 不需要从潜在变量到观测值的显式网络映射，从而使其能够将模型容量集中于潜在变量的推断。该模型既易处理又具表达能力：得益于其联合高斯潜在先验，它允许精确推断，同时通过观测值与潜在变量之间任意非线性的神经网络连接保持表达能力。这些品质使 RP-GSSM 能够在无需临时正则化、辅助损失或优化器调度的情况下学习与任务相关的潜在变量。我们展示了该方法在包括从视频中学习非线性随机动力学（有或无背景干扰项）的问题上优于其他替代方案。我们的结果将 RP-GSSM 定位为适用于各种下游应用的有用的基础模型。
引用
@article{arxiv.2505.23569,
title = {Maximum Likelihood Learning of Latent Dynamics Without Reconstruction},
author = {Samo Hromadka and Kai Biegun and Lior Fox and James Heald and Maneesh Sahani},
journal= {arXiv preprint arXiv:2505.23569},
year = {2025}
}