基于深度卷积神经网络的分类非渐近超额风险界
机器学习
2021-05-04 v1 统计理论
统计理论
摘要
本文中，我们考虑一类通用深度卷积神经网络下的二分类问题，该类网络将全连接神经网络与全卷积神经网络作为特例包含在内。我们针对一类凸替代损失与具有不同连续模的目标函数建立了非渐近超额风险界。我们结果的一个重要特征是明确以输入数据维度与其他模型参数定义了风险界的前置因子，并展示其在若干重要模型中多项式地依赖于维度。我们还展示当输入数据支撑于近似低维流形上时，使用CNN的分类方法可规避维数灾难。为建立这些结果，我们推导了每层卷积层带偏置项的通用卷积神经网络类的覆盖数上界，并推导了CNN对任意一致连续目标函数逼近能力的新结果。这些结果进一步揭示了通用卷积神经网络的复杂度与逼近能力，其具有独立意义并可能有其他应用。最后，我们将一般结果应用于分析使用CNN、具备不同损失函数的四种广泛使用方法的非渐近超额风险界，包括最小二乘、逻辑、指数与SVM合页损失。
引用
@article{arxiv.2105.00292,
title = {Non-asymptotic Excess Risk Bounds for Classification with Deep Convolutional Neural Networks},
author = {Guohao Shen and Yuling Jiao and Yuanyuan Lin and Jian Huang},
journal= {arXiv preprint arXiv:2105.00292},
year = {2021}
}
备注
Guohao Shen and Yuling Jiao contributed equally to this work. Co-corresponding authors: Yuanyuan Lin (Email: [email protected]) and Jian Huang (Email: [email protected])