深度学习遇上非参数回归：带权值衰减的 DNN 是否局部自适应？
机器学习
2024-05-21 v4 机器学习
摘要
我们从经典非参数回归问题的视角研究神经网络（NN）理论，重点关注 NN 自适应估计具有异质光滑性函数的能力——这是 Besov 类或有界变差（BV）类中函数的一种性质。现有关于该问题的工作需要根据函数空间和样本量调整 NN 架构。我们考虑深度 ReLU 网络的一种“并行 NN”变体，并证明标准 正则化等价于在端到端学习到的函数基（即字典）的系数向量中促进 稀疏性（）。利用这一等价性，我们进一步证明，仅通过调整正则化因子，此类并行 NN 就能达到任意接近 Besov 类和 BV 类极小极大速率的估计误差。值得注意的是，随着 NN 加深，它指数级地逼近极小极大最优。我们的研究为深度为何重要以及 NN 为何比核方法更强大提供了新的见解。
引用
@article{arxiv.2204.09664,
title = {Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive?},
author = {Kaiqi Zhang and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2204.09664},
year = {2024}
}
备注
Published as a conference paper at ICLR 2023; 35 pages, 7 figures