神经 ODE 用于时间序列建模时训练时间与可解释性之间的平衡
机器学习
2022-06-08 v1 经典分析与常微分方程
摘要
大多数机器学习方法被用作建模的黑箱。我们可尝试从基于物理的训练方法（如神经 ODE（常微分方程））中提取一些知识。神经 ODE 具有诸如可能更高阶的表示函数类、相较于黑箱机器学习模型更强的可解释性、能够描述趋势与局部行为等优势。此类优势对具有复杂趋势的时间序列尤为关键。然而，已知缺陷是相较于广泛用于数据驱动时间序列建模的自回归模型和长短期记忆（LSTM）网络，其训练时间较高。因此，我们应能在可解释性与训练时间之间取得平衡，以在实践中应用神经 ODE。本文表明，现代神经 ODE 不能简化为用于时间序列建模应用的更简单模型。神经 ODE 的复杂度与或超越常规时间序列建模工具。可提取的唯一解释是算子的特征空间，这对大系统而言是病态问题。谱可使用不具有耗时缺陷的不同经典分析方法提取。因此，我们将神经 ODE 简化为更简单的线性形式，并提出了使用组合神经网络与 ODE 系统方法的时间序列建模新视角。
引用
@article{arxiv.2206.03304,
title = {On the balance between the training time and interpretability of neural ODE for time series modelling},
author = {Yakov Golovanev and Alexander Hvatov},
journal= {arXiv preprint arXiv:2206.03304},
year = {2022}
}