具有有限VC维的神经网络：利与弊

本文从高维几何和统计学习理论的角度，研究了神经网络对大数据集分类器的逼近与学习。比较了网络输入-输出函数集的VC维对逼近能力的影响与其对从数据样本中学习的一致性影响。研究表明，尽管有限VC维对于经验误差的一致收敛是可取的，但对于逼近从某一概率分布中抽取的函数（该分布模拟了这些函数在特定应用类型中出现的可能性）而言，它可能并不理想。基于高维几何的测度集中性质，本文证明了，对于处理大数据集时实现具有有限VC维的输入-输出函数集的网络，逼近误差和经验误差的行为几乎都是确定性的。本文还讨论了通用逼近性质的实际局限性、逼近精度与从数据中学习一致性之间的权衡，以及具有ReLU单元的网络的深度对其精度和一致性的影响。