ResNet 型卷积神经网络的逼近与非参数估计
机器学习
2023-08-15 v4 机器学习
统计理论
统计理论
摘要
卷积神经网络（CNN）已被证明在多个函数类中能够达到最优的逼近和估计误差率（在极小化极大意义下）。然而，由于包括 Hölder 类在内的重要函数类中的稀疏约束，先前分析的最优 CNN 不切实际地宽，且难以通过优化获得。我们证明 ResNet 型 CNN 在更合理的情况下能够达到这些函数类中的极小化极优误差率——它可以是稠密的，且其宽度、通道大小和滤波器大小相对于样本大小是常数。关键思想在于，只要全连接神经网络（FNN）具有块稀疏结构，我们就可以通过定制的 CNN 复制 FNN 的学习能力。我们的理论具有一般性，即我们可以自动将块稀疏 FNN 达到的任何逼近率转化为 CNN 的逼近率。作为应用，我们使用相同策略推导了上述类型 CNN 对 Barron 类和 Hölder 类的逼近和估计误差率。
引用
@article{arxiv.1903.10047,
title = {Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks},
author = {Kenta Oono and Taiji Suzuki},
journal= {arXiv preprint arXiv:1903.10047},
year = {2023}
}
备注
Version 4: Fixed the constant B^{(fc)} in Theorems 1, 5 and the norm upper bound of w^{(l)}_m in Lemma 1. 8 pages + References 2 pages + Supplemental material 18 pages