深度神经网络在估计超曲面上具有奇异性函数中的优势
机器学习
2022-02-09 v2 机器学习
摘要
我们开展了极小极大速率分析,以阐明深度神经网络(DNNs)优于其他标准方法的原因。对于非参数回归问题,众所周知许多标准方法对光滑函数达到估计误差的极小极大最优速率,因此不易辨识 DNNs 的理论优势。本研究通过考虑一类在超曲面上具有奇异性非光滑函数的估计来填补此空白。我们的发现如下:(i) 我们推导了 DNN 估计量的泛化误差,并证明其收敛速率近乎最优。(ii) 我们阐明了估计问题的相图,描述了 DNNs 优于包括核方法、高斯过程方法等在内的通用估计量类的情况。我们另表明 DNNs 优于基于调和分析的估计量。DNNs 的这一优势源于其多层结构能成功处理奇异性的形状。
引用
@article{arxiv.2011.02256,
title = {Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces},
author = {Masaaki Imaizumi and Kenji Fukumizu},
journal= {arXiv preprint arXiv:2011.02256},
year = {2022}
}
备注
Complete version of arXiv:1802.04474