关于卷积神经网络线性区域数量的研究
机器学习
2020-06-30 v2 机器学习
摘要
深度学习中的一个基本问题是理解深度神经网络（NN）在实践中的优异表现。对 NN 优势的一种解释是它们能够实现一大类复杂函数，即它们具有强大的表达能力。ReLU NN 的表达能力可通过其将输入空间分隔成的最大线性区域数量来量化。在本文中，我们提供了研究 CNN 线性区域所需的若干数学结果，并利用它们推导了一层 ReLU CNN 的最大和平均线性区域数量。此外，我们获得了多层 ReLU CNN 线性区域数量的上界和下界。我们的结果表明，更深的 CNN 比其浅层对应物具有更强大的表达能力，而 CNN 在每个参数上比全连接 NN 具有更强的表达能力。
引用
@article{arxiv.2006.00978,
title = {On the Number of Linear Regions of Convolutional Neural Networks},
author = {H. Xiong and L. Huang and M. Yu and L. Liu and F. Zhu and L. Shao},
journal= {arXiv preprint arXiv:2006.00978},
year = {2020}
}
备注
International Conference on Machine Learning (ICML) 2020