使用过参数化卷积残差网络在低维流形上的非参数分类
机器学习
2024-12-11 v3
摘要
卷积残差神经网络（ConvResNets）尽管过参数化，在实践中仍能取得卓越的预测性能，这是传统认知难以解释的。为弥补这一差距，我们从非参数分类的视角研究带权重衰减训练的 ConvResNeXts（其涵盖 ConvResNets 作为特例）的性能。我们的分析允许 ConvResNeXts 中有无穷多个构建块，并表明权重衰减隐式地对这些构建块施加稀疏性。具体而言，我们考虑一个支撑于低维流形上的光滑目标函数，进而证明 ConvResNeXts 能够适应函数光滑性和低维结构，并高效学习该函数而不受维数灾难的影响。我们的发现部分地证明了过参数化 ConvResNeXts 相对于传统机器学习模型的优势。
引用
@article{arxiv.2307.01649,
title = {Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks},
author = {Zixuan Zhang and Kaiqi Zhang and Minshuo Chen and Yuma Takeda and Mengdi Wang and Tuo Zhao and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2307.01649},
year = {2024}
}
备注
20 pages, 1 figure