随机ReLU两层网络的逼近能力
机器学习
2021-09-09 v2 神经与进化计算
机器学习
摘要
本文考虑如下问题：底层权重随机初始化的深度为二的ReLU网络能多好地表示光滑函数？我们在Lipschitz常数、期望精度和问题维度方面给出了L_2-逼近的近乎匹配的上界与下界，以及在Sobolev范数下的类似结果。我们的正面结果运用了调和分析与脊波表示理论的工具，而我们的下界则基于（鲁棒版本的）维度论证。
引用
@article{arxiv.2102.02336,
title = {On the Approximation Power of Two-Layer Networks of Random ReLUs},
author = {Daniel Hsu and Clayton Sanford and Rocco A. Servedio and Emmanouil-Vasileios Vlatakis-Gkaragkounis},
journal= {arXiv preprint arXiv:2102.02336},
year = {2021}
}
备注
39 pages, COLT version