神经网络的与规模无关的采样复杂度
机器学习
2019-11-19 v5 神经与进化计算
机器学习
摘要
我们通过在对每一层参数矩阵施加范数约束的假设下给出神经网络 Rademacher 复杂度的新界，来研究学习神经网络的采样复杂度。与先前工作相比，这些复杂度界对网络深度的依赖有所改善，并且在一些额外假设下完全独立于网络规模（深度与宽度）。这些结果使用一些新颖技术推导得到，其本身可能具有独立意义。
引用
@article{arxiv.1712.06541,
title = {Size-Independent Sample Complexity of Neural Networks},
author = {Noah Golowich and Alexander Rakhlin and Ohad Shamir},
journal= {arXiv preprint arXiv:1712.06541},
year = {2019}
}
备注
Fixed a bug in the proof of theorem 7 (not affecting theorem statement), by slightly changing the construction