论ResNet的时空表达能力
机器学习
2020-03-02 v4 数值分析
神经与进化计算
数值分析
机器学习
摘要
残差网络（ResNets）是一种深度学习架构，在某些监督学习任务中显著提升了最先进的性能。此后，它们持续受到越来越多的关注。ResNets具有递归结构 ，其中 称为残差块的神经网络。该结构可视为关联常微分方程（ODE）的欧拉离散化，称为神经ODE。近来，ResNets被提出作为非此类神经型ODE的时空近似。为阐明这一联系，我们证明通过增加残差块数量及其表达能力，任意ODE的解可被深度ReLU ResNets在时空上同时近似。进一步，在某些正则性假设下，我们推导了获得给定精度所需残差块的复杂度估计。
引用
@article{arxiv.1910.09599,
title = {On the space-time expressivity of ResNets},
author = {Johannes Müller},
journal= {arXiv preprint arXiv:1910.09599},
year = {2020}
}
备注
Extended abstract of master's thesis; presented at the ICLR 2020 Workshop on Integration of Deep Neural Models and Differential Equations; full version of the thesis available under https://freidok.uni-freiburg.de/data/151788