基于曲线激活函数的神经网络模型复杂度度量
机器学习
2020-06-17 v1 机器学习
摘要
度量深度神经网络的模型复杂度是基础性问题。现有关于模型复杂度的文献主要关注具有分段线性激活函数的神经网络。具有一般曲线激活函数的神经网络模型复杂度仍是一个开放问题。为应对这一挑战，本文首先提出线性近似神经网络（简称LANN），一种分段线性框架，用于近似给定的具有曲线激活函数的深度模型。LANN为每个神经元的激活函数构造单独的分段线性近似，并在满足所需近似程度的前提下最小化线性区域的数量。接着，我们分析了LANN所形成的线性区域数量的上界，并基于该上界推导出复杂度度量。为检验该复杂度度量的实用性，我们通过实验探究神经网络的训练过程并检测过拟合。我们的结果表明，过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现和正则化抑制了模型复杂度的增加。最后，我们提出两种通过直接约束模型复杂度来防止过拟合的方法，即神经元剪枝和定制化正则化。
引用
@article{arxiv.2006.08962,
title = {Measuring Model Complexity of Neural Networks with Curve Activation Functions},
author = {Xia Hu and Weiqing Liu and Jiang Bian and Jian Pei},
journal= {arXiv preprint arXiv:2006.08962},
year = {2020}
}
备注
KDD 2020