算子神经网络的任意深度通用逼近定理
机器学习
2021-09-24 v1 数值分析
经典分析与常微分方程
数值分析
摘要
算子神经网络（NNs）的标准通用逼近定理对任意宽度和有界深度成立。在此，我们证明有界宽度且任意深度的算子 NNs 是连续非线性算子的通用逼近器。在我们的主要结果中，我们证明对于在某点连续可微且导数非零的非多项式激活函数，可以构造宽度为五、输入为具有有限十进制表示的实数的算子 NN，其可任意接近任意给定的连续非线性算子。我们推导了针对非仿射多项式激活函数的类似结果。我们还通过构造深度为 且宽度恒定的算子 ReLU NNs 来证明深度具有理论优势，这些网络无法被任何深度为 的算子 ReLU NN 良好逼近，除非其宽度关于 是指数级的。
引用
@article{arxiv.2109.11354,
title = {Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks},
author = {Annan Yu and Chloé Becquey and Diana Halikias and Matthew Esmaili Mallory and Alex Townsend},
journal= {arXiv preprint arXiv:2109.11354},
year = {2021}
}
备注
12 pages