时间序列回归与连续归一化流中的离散化-优化与优化-离散化

我们使用神经 ODE 比较了用于时间序列回归和连续归一化流（CNFs）的离散化-优化（Disc-Opt）与优化-离散化（Opt-Disc）方法。神经 ODE 是带有神经网络组件的常微分方程（ODEs）。训练神经 ODE 是一个最优控制问题，其中权重是控制量，隐藏特征是状态。每次训练迭代都涉及向前和向后求解一个 ODE，这可能需要大量的计算、时间和内存。Gholami 等人（2019）在图像分类任务中比较 Opt-Disc 和 Disc-Opt 方法，建议优先采用 Disc-Opt，因为梯度的精度有保障。在本文中，我们将该比较扩展到用于时间序列回归和 CNFs 的神经 ODE。与分类不同，这些任务中有意义的模型还必须满足除准确的最终时间输出之外的附加要求，例如 CNF 的可逆性。通过我们的数值实验，我们证明在细致的数值处理下，Disc-Opt 方法在推理时可用大幅降低的训练成本取得与 Opt-Disc 相似的性能。在七个独立问题中的六个里 Disc-Opt 降低了成本，训练时间减少幅度从 39% 到 97% 不等，并且在一种情况下，Disc-Opt 将训练从九天减少到不到一天。