过参数化 regime 中部分量化神经网络的VC维
机器学习
2021-10-07 v1 机器学习
摘要
Vapnik-Chervonenkis（VC）理论迄今未能解释过参数化神经网络的小泛化误差。事实上，现有将VC理论应用于大型网络的工作得到的VC维上界与权重数量成正比，且对一大类网络而言这些上界已知是紧的。本文中，我们关注一类我们称之为超平面排列神经网络（HANN）的部分量化网络。利用样本压缩分析，我们证明HANN的VC维可显著小于权重数量，同时具有高度表达能力。特别地，在过参数化 regime 中对HANN进行经验风险最小化，可达到具有Lipschitz后验类概率的分类极小极大率。我们进一步通过实验证明HANN的表达能力。在121个UCI数据集的评测中，过参数化HANN匹配了最先进的全精度模型的性能。
引用
@article{arxiv.2110.02456,
title = {VC dimension of partially quantized neural networks in the overparametrized regime},
author = {Yutong Wang and Clayton D. Scott},
journal= {arXiv preprint arXiv:2110.02456},
year = {2021}
}