神经网络的概念容量与有效复杂度
机器学习
2021-03-16 v1 机器学习
摘要
我们提出一种基于来自不同输入的切空间集合的多样性来度量神经网络映射函数复杂度的方法。将每个切空间视为一个线性 PAC 概念，我们使用基于熵的概念束度量来估计网络的概念容量。ReLU 网络的理论最大容量等同于其神经元数量。然而在实践中，由于网络内神经元活动之间的相关性，实际容量可能非常小，即便对非常大的网络也是如此。经验评估表明，这一新度量与映射函数的复杂度因而与相应网络的泛化能力相关。它捕捉了网络函数的有效而非理论复杂度。我们也展示了所提度量在训练神经网络模型分析与比较中的一些用途。
引用
@article{arxiv.2103.07614,
title = {Conceptual capacity and effective complexity of neural networks},
author = {Lech Szymanski and Brendan McCane and Craig Atkinson},
journal= {arXiv preprint arXiv:2103.07614},
year = {2021}
}