STEER：神经 ODE 的简单时间正则化
机器学习
2020-11-03 v3 机器学习
摘要
训练神经常微分方程（ODE）通常计算代价高昂。事实上，此类模型的前向传播涉及求解一个 ODE，其在训练过程中可能变得任意复杂。近期工作表明，对 ODE 的动力学进行正则化可部分缓解该问题。本文提出一种新的正则化技术：在训练期间随机采样 ODE 的终止时间。所提正则化实现简单、开销可忽略，且在广泛任务上均有效。此外，该技术正交于若干其他已提出的 ODE 动力学正则化方法，因此可与之结合使用。我们通过归一化流、时间序列模型与图像识别上的实验表明，所提正则化能显著减少训练时间，甚至相较基线模型提升性能。
引用
@article{arxiv.2006.10711,
title = {STEER: Simple Temporal Regularization For Neural ODEs},
author = {Arnab Ghosh and Harkirat Singh Behl and Emilien Dupont and Philip H. S. Torr and Vinay Namboodiri},
journal= {arXiv preprint arXiv:2006.10711},
year = {2020}
}
备注
Neurips 2020