ODENet 与单一激活函数下的 ResNet 通用逼近性质
机器学习
2024-10-23 v1 人工智能
数值分析
数值分析
机器学习
摘要
我们研究了 ODENet 与 ResNet 的通用逼近性质。ODENet 是从初始值映射到有限区间内最终值的 ODE 系统。它被视为类 ResNet 深度学习系统的数学模型。我们考虑以单个激活函数与仿射映射组合而成的向量场为动态系统，这是实际机器学习系统中最常见的 ODENet 或 ResNet 向量场选择。我们证明了具有受限向量场的 ODENet 与 ResNet 可以对具有通用向量场的 ODENet 进行均匀逼近。
引用
@article{arxiv.2410.16709,
title = {Universal approximation property of ODENet and ResNet with a single activation function},
author = {Masato Kimura and Kazunori Matsui and Yosuke Mizuno},
journal= {arXiv preprint arXiv:2410.16709},
year = {2024}
}
备注
14 pages