ODENet与ResNet的通用逼近性质：数学分析与数值实验
机器学习
2023-05-19 v3 人工智能
数值分析
经典分析与常微分方程
数值分析
机器学习
摘要
我们证明了一类ODENet和一类ResNet的通用逼近性质（UAP），它们是具有跳跃连接的深度学习系统的简化数学模型。该UAP可表述如下。设和为输入输出数据的维度，并假设。则我们证明宽度为、带有任意非多项式连续激活函数的ODENet可以逼近上紧子集上的任意连续函数。我们也证明了ResNet在深度趋于无穷时具有相同的性质。此外，我们显式推导了损失函数关于某调优变量的梯度。我们利用此构造了ODENet的学习算法。为展示该算法的实用性，我们将其应用于MNIST上的回归问题、二分类和多分类问题。
引用
@article{arxiv.2101.10229,
title = {Universal Approximation Properties for an ODENet and a ResNet: Mathematical Analysis and Numerical Experiments},
author = {Yuto Aizawa and Masato Kimura and Kazunori Matsui},
journal= {arXiv preprint arXiv:2101.10229},
year = {2023}
}