神经常微分方程作为恒权 ResNet 在深层极限下的表示
机器学习
2020-01-22 v2 机器学习
偏微分方程分析
经典分析与常微分方程
摘要
在本文中，我们证明了在深层极限下，对每层共享相同权重矩阵的 ResNet 型深度神经网络进行随机梯度下降，会收敛到对神经常微分方程（Neural ODE）的随机梯度下降，且相应的价值/损失函数收敛。我们的结果在随机梯度下降最小化的背景下，为将神经常微分方程视为 ResNet 的深层极限提供了理论基础。我们的证明基于对相关 Fokker-Planck 方程的某些衰减估计。
引用
@article{arxiv.1906.12183,
title = {Neural ODEs as the Deep Limit of ResNets with constant weights},
author = {Benny Avelin and Kaj Nyström},
journal= {arXiv preprint arXiv:1906.12183},
year = {2020}
}