集成卡尔曼滤波与高斯过程状态空间模型结合用于非平均场与在线推断
机器学习
2024-07-23 v5 信号处理
机器学习
摘要
高斯过程状态空间模型（GPSSM）代表了一类通用的数据驱动非线性动力系统模型。然而，GPSSM 中大量潜变量的存在给现有变分推断方法带来了未解决的问题，尤其在更现实的非平均场（NMF）假设下，包括训练代价大、推断精度受损以及无法用于在线应用等。本文通过将成熟的基于模型的滤波技术——集成卡尔曼滤波器（EnKF）引入 NMF 变分推断框架以近似潜状态的后验分布，应对这些挑战。EnKF 与 GPSSM 的这一新颖结合不仅消除了学习变分分布时对大量参数化的需求，还实现了可解释的、闭式的证据下界（ELBO）近似。此外，得益于通过 EnKF 实现的精简参数化，新的 GPSSM 模型可轻松适用于在线学习应用。我们证明所得到的 EnKF 辅助在线算法体现了一个有原则的目标函数，在确保数据拟合精度的同时融入模型正则化以缓解过拟合。我们还对所提算法提供了详细分析与新的见解。在多种真实与合成数据集上的综合评估证实，我们的 EnKF 辅助变分推断算法相较于现有方法具有更优的学习与推断性能。
引用
@article{arxiv.2312.05910,
title = {Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference},
author = {Zhidi Lin and Yiyong Sun and Feng Yin and Alexandre Hoang Thiéry},
journal= {arXiv preprint arXiv:2312.05910},
year = {2024}
}
备注
Gaussian process, state-space model, ensemble Kalman filter, online learning, variational inference