连续深度平衡模型：通过将神经ODE积分至无穷加速其训练
机器学习
2023-03-06 v4 计算机视觉与模式识别
动力系统
摘要
隐式模型将层的定义与其求解过程的描述分离。虽然隐式层允许深度等特征自动适应新场景和输入，但这种自适应使其计算开销难以预测。在本文中，我们通过将DEQ重新定义为无限时间神经ODE来增加其“隐式性”，这矛盾地使标准神经ODE的训练成本降低2-4倍。此外，我们探讨一个问题：是否存在一种方法，在同时获得隐式层鲁棒性的同时，实现显式层降低的计算开销？为此，我们提出Skip和Skip Reg. DEQ，一种隐式-显式（IMEX）层，同时训练一个显式预测及其后的隐式修正。我们表明训练该显式预测器是免费的，甚至将训练时间减少1.11-3.19倍。总之，本文展示了桥接隐式与显式深度学习的二分法如何结合两种技术的优势。
引用
@article{arxiv.2201.12240,
title = {Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity},
author = {Avik Pal and Alan Edelman and Christopher Rackauckas},
journal= {arXiv preprint arXiv:2201.12240},
year = {2023}
}