深度 ReLU 网络借助海量数据实现空间稀疏性
机器学习
2019-12-17 v1 机器学习
摘要
深度学习的巨大成功对理解其工作机制与合理性提出了紧迫挑战。深度、结构以及数据的海量规模被公认为深度学习的三大关键要素。近期关于深度学习的理论研究中，大多聚焦于神经网络深度与结构的必要性及优势。本文旨在严格验证海量数据在体现深度学习优越性能方面的重要性。为逼近并学习空间稀疏且光滑的函数，我们建立了学习理论中一种新颖的采样定理，以揭示海量数据的必要性。随后我们证明，在某些深度网络上实施经典的经验风险最小化，有助于实现该采样定理所导出的最优学习率。这或许解释了为何深度学习在大数据时代表现如此出色。
引用
@article{arxiv.1912.07464,
title = {Realization of spatial sparseness by deep ReLU nets with massive data},
author = {Charles K. Chui and Shao-Bo Lin and Bo Zhang and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:1912.07464},
year = {2019}
}
备注
15pages, 4 figures