人工神经网络的容量缩放定律
神经与进化计算
2018-09-11 v3 机器学习
摘要
我们推导了两个预测感知机网络行为的关键数的计算方法。首先，我们推导了所谓无损记忆（LM）维度的计算。LM 维度是 Vapnik--Chervonenkis（VC）维度的推广，它避免了结构化数据，因此为完美拟合几乎任何训练数据提供了上限。其次，我们推导了所谓的 MacKay（MK）维度。该极限表示有 50% 的概率无法训练给定函数。我们的推导是通过将神经网络嵌入 Shannon 通信模型来完成的，这使得能够将这两个点解释为以比特为单位的容量。我们给出了证明和实际实验，通过使用不同网络配置、不同实现、不同激活函数和多种学习算法的可重复实验验证了我们的上限。结论是，这两个容量点与权重数量严格呈线性缩放。在其他实际应用中，我们的结果允许独立于具体学习任务来比较和基准测试不同的神经网络实现。我们的结果提供了对神经网络能力和极限的洞察，并为实验设计决策生成了宝贵的知识。
引用
@article{arxiv.1708.06019,
title = {A Capacity Scaling Law for Artificial Neural Networks},
author = {Gerald Friedland and Mario Krell},
journal= {arXiv preprint arXiv:1708.06019},
year = {2018}
}
备注
13 pages, 4 figures, 2 listings of source code