基于路径范数的一般激活函数神经网络复杂度度量
机器学习
2020-09-15 v1 机器学习
摘要
本文提出一种简单的方法，用于获得具有一般激活函数的神经网络的复杂度控制。该方法受使用一维ReLU网络逼近一般激活函数的启发，从而将问题化简为ReLU网络的复杂度控制。具体而言，我们考虑两层网络和深度残差网络，并推导了基于路径的范数以控制其复杂度。我们还对这些范数所诱导的函数空间以及相应正则化估计量的先验估计提供了初步分析。
引用
@article{arxiv.2009.06132,
title = {Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms},
author = {Zhong Li and Chao Ma and Lei Wu},
journal= {arXiv preprint arXiv:2009.06132},
year = {2020}
}
备注
47 pages