具有本征维数的深度神经网络的自适应逼近与泛化
机器学习
2020-09-18 v3 机器学习
摘要
在本研究中，我们证明协变量的本征低维性是决定深度神经网络（DNNs）性能的主要因素。DNNs 通常提供出色的经验性能。因此，众多研究积极调查 DNNs 的理论性质以理解其底层机制。特别是，DNNs 处理高维数据的行为是最关键的问题之一。然而，尽管高维数据实际具有低本征维数，该问题尚未从协变量角度得到充分研究。在本研究中，我们推导了关于具有本征低维协变量的 DNNs 的逼近误差和泛化误差的界限。我们应用 Minkowski 维数的概念并发展了一种新颖的证明技术。结果，我们表明 DNNs 的误差收敛速率不依赖于数据的名义高维性，而依赖于其更低的本征维数。我们进一步证明该速率在极小极大意义下是最优的。我们通过表明 DNNs 能处理比其他自适应估计器更广类别的本征低维数据，确定了 DNNs 的一个优势。最后，我们进行了数值模拟以验证理论结果。
引用
@article{arxiv.1907.02177,
title = {Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality},
author = {Ryumei Nakada and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:1907.02177},
year = {2020}
}
备注
38 pages