残差神经网络是否离散化了神经常微分方程？
机器学习
2022-09-16 v2 机器学习
摘要
神经常微分方程（Neural ODEs）是残差神经网络（ResNets）的连续类比。我们研究ResNet所定义的离散动力学是否接近于Neural ODE的连续动力学。我们首先量化ResNet的隐状态轨迹与其对应Neural ODE解之间的距离。我们的界是紧的，且在负面意义上，若残差函数随深度不光滑，则该距离不随深度N趋于0。在正面意义上，我们证明对于具有线性残差函数且初始损失足够小的ResNet，此光滑性由梯度下降保持。它确保了以1/N的速率隐式正则化趋向极限Neural ODE，且随深度和优化时间一致成立。作为我们分析的一个副产品，我们考虑使用无记忆离散伴随方法，通过网络的反向传播动态恢复激活来训练ResNet，并证明当残差函数关于输入为Lipschitz时，该方法在理论上在 large depth 下成功。接着我们证明Heun方法（一种二阶ODE积分格式）在残差函数随深度光滑时，能通过伴随方法获得更好的梯度估计。我们通过实验验证我们的伴随方法在 large depth 下成功，且Heun方法需要更少的层即可成功。最后我们成功地将伴随方法用于非常深ResNets的微调，且在残差层中无内存消耗。
引用
@article{arxiv.2205.14612,
title = {Do Residual Neural Networks discretize Neural Ordinary Differential Equations?},
author = {Michael E. Sander and Pierre Ablin and Gabriel Peyré},
journal= {arXiv preprint arXiv:2205.14612},
year = {2022}
}
备注
Accepted at NeurIPS 2022 24 pages