样本压缩、支持向量与深度学习中的泛化

尽管深度神经网络（DNNs）因其实际性能而广受赞誉，它们拥有许多与深度相关的引人入胜的性质，这些性质在理论和直观上都难以解释。理解深度网络中的权重如何跨层协调以形成有用的学习器一直具有挑战性，部分原因是非线性的重复复合已被证明难以处理。本文提出将 DNNs 重新参数化为特征映射的线性函数，该特征映射在局部与权重无关。该特征映射将深度依赖转化为简单的张量积，并将每个输入映射到特征空间的离散子集。然后，利用最大间隔假设，本文基于由“支持向量”诱导的神经元离散激活状态发展了神经网络的样本压缩表示。本文表明，支持向量数 s 通过样本压缩界与神经网络的学习保证相关，对具有 n 个神经元的网络给出了 O(ns/epsilon) 的样本复杂度。最后，发现支持向量数 s 随宽度和标签噪声单调增加，但随深度减小。