浅层神经网络逼近速率、度量熵与 n-宽度的锐界
机器学习
2024-02-26 v9 信息论
机器学习
math.IT
摘要
在本文中，我们研究对应于具有多种激活函数的浅层神经网络的变化空间的逼近性质。我们引入两个主要工具来估计这些空间的度量熵、逼近速率和 -宽度。首先，我们引入平滑参数化字典的概念，并给出其绝对凸包的非线性逼近速率、度量熵和 -宽度的上界。该上界依赖于参数化的平滑阶数。此结果应用于对应于浅层神经网络的脊函数字典，且在许多情形下改进了已有结果。接着，我们提供对包含特定脊函数类的变化空间的度量熵和 -宽度下界的方法。该结果给出了对应于具有一系列重要激活函数（包括 ReLU 激活函数和具有有界变差的 sigmoid 型激活函数）神经网络的变化空间的 -逼近速率、度量熵和 -宽度的锐下界。
引用
@article{arxiv.2101.12365,
title = {Sharp Bounds on the Approximation Rates, Metric Entropy, and $n$-widths of Shallow Neural Networks},
author = {Jonathan W. Siegel and Jinchao Xu},
journal= {arXiv preprint arXiv:2101.12365},
year = {2024}
}
备注
has been merged with arXiv:2106.14997