插值深度卷积神经网络的学习能力
机器学习
2023-08-17 v2 机器学习
摘要
人们经常观察到，过参数化的神经网络具有良好的泛化能力。关于这类现象，现有的理论工作主要致力于线性设定或全连接神经网络。本文研究了深度神经网络的一个重要家族——深度卷积神经网络（DCNN）在欠参数化和过参数化设定下的学习能力。我们首次建立了文献中未对参数或函数变量结构施加限制的欠参数化 DCNN 的学习率。我们还证明，通过向非插值 DCNN 添加定义良好的层，我们可以获得一些插值 DCNN，这些网络保持了非插值 DCNN 的良好学习率。这一结果是通过一种为 DCNN 设计的新型网络加深方案实现的。我们的工作为过拟合的 DCNN 如何能良好泛化提供了理论验证。
引用
@article{arxiv.2210.14184,
title = {Learning Ability of Interpolating Deep Convolutional Neural Networks},
author = {Tian-Yi Zhou and Xiaoming Huo},
journal= {arXiv preprint arXiv:2210.14184},
year = {2023}
}