面向动力系统的零样本插补：基于基础推理模型
机器学习
2025-03-17 v4 动力系统
摘要
由常微分方程（ODE）控制的动力系统是大量自然和社会现象的模型。在这项工作中，我们对经典的缺失时间序列数据插补问题提出了新的视角，假设其底层动力学由ODE决定。具体来说，我们重新审视了摊销推理和神经算子的思想，并提出了一种新颖的监督学习框架，用于通过满足某些（隐藏）ODE的参数函数进行零样本时间序列插补。我们的方案包括两个部分。首先，在ODE解空间、观测时间和噪声机制上定义一个宽泛的概率分布，并用它生成一个大型的合成数据集，包含（隐藏）ODE解及其带噪声的稀疏观测。其次，一个神经识别模型离线训练，将生成的时间序列映射到（隐藏）ODE解的初始条件和时间导数空间，然后我们通过积分来插补缺失数据。我们凭经验证明，同一个（预训练）识别模型可以在63个不同的缺失值时间序列上进行零样本插补，每个序列来自截然不同的动力系统。同样，我们证明它可以在10个截然不同的高维场景中进行零样本插补，涵盖人体运动、空气质量、交通和电力研究以及Navier-Stokes模拟——无需任何微调。更重要的是，我们的方案通常优于在目标数据集上训练的最先进方法。我们的预训练模型、代码仓库和教程已在线提供。
引用
@article{arxiv.2402.07594,
title = {Zero-shot Imputation with Foundation Inference Models for Dynamical Systems},
author = {Patrick Seifner and Kostadin Cvejoski and Antonia Körner and Ramsés J. Sánchez},
journal= {arXiv preprint arXiv:2402.07594},
year = {2025}
}