同一枚硬币的两面：通过同伦延拓桥接深度平衡模型与神经常微分方程
机器学习
2023-12-22 v2 机器学习
摘要
深度平衡模型（DEQs）与神经常微分方程（Neural ODEs）是隐式模型的两个分支，因其卓越的性能和低内存消耗而取得了显著成功。尽管二者均为隐式模型，DEQs 与 Neural ODEs 却源自不同的数学表述。受同伦延拓启发，我们建立了这两种模型之间的联系，并说明它们实际上是同一枚硬币的两面。同伦延拓是一种基于相应 ODE 求解非线性方程的经典方法。鉴于此联系，我们提出了一种称为 HomoODE 的新隐式模型，它继承了 DEQs 的高精度特性与 Neural ODEs 的稳定性特性。与 DEQs 在前向传播中通过牛顿法显式求解平衡点寻找问题不同，HomoODE 通过同伦延拓使用改进的 Neural ODE 隐式求解平衡点寻找问题。此外，我们为 HomoODE 开发了一种带有共享可学习初始点的加速方法。值得注意的是，我们的模型也更好地解释了为何增广神经常微分方程（Augmented Neural ODEs）只要将增广部分视为待求平衡点就能生效。在多项图像分类任务上的综合实验表明，HomoODE 在准确率和内存消耗方面均超越了现有隐式模型。
引用
@article{arxiv.2310.09583,
title = {Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation},
author = {Shutong Ding and Tianyu Cui and Jingya Wang and Ye Shi},
journal= {arXiv preprint arXiv:2310.09583},
year = {2023}
}
备注
Accepted by NeurIPS2023