基于神经常微分方程的动力系统半监督学习：一种师生模型方法
机器学习
2023-10-23 v1 人工智能
摘要
动力系统建模对广泛任务至关重要，但由于复杂非线性动力学、有限观测或缺乏先验知识，其仍具挑战性。近来，神经常微分方程（NODE）等数据驱动方法通过利用神经网络的表现力建模未知动力学而展现出可喜结果。然而，这些方法常受限于标记训练数据不足，导致泛化差与预测次优。另一方面，半监督算法可利用丰富的无标签数据，并在分类与回归任务中展现出良好性能。我们提出TS-NODE，即首个用NODE建模动力系统的半监督方法。TS-NODE在师生模型下探索廉价生成的合成伪轨迹，以拓宽状态空间中的探索并应对缺乏真值系统数据带来的挑战。TS-NODE采用统一优化框架，基于学生反馈纠正教师模型，同时缓解伪轨迹中潜在的错误系统动力学。TS-NODE在多个动力系统建模任务上相较基线神经ODE模型展现出显著性能提升。
引用
@article{arxiv.2310.13110,
title = {Semi-Supervised Learning of Dynamical Systems with Neural Ordinary Differential Equations: A Teacher-Student Model Approach},
author = {Yu Wang and Yuxuan Yin and Karthik Somayaji Nanjangud Suryanarayana and Jan Drgona and Malachi Schram and Mahantesh Halappanavar and Frank Liu and Peng Li},
journal= {arXiv preprint arXiv:2310.13110},
year = {2023}
}