重新思考神经网络中的布雷曼困境：间隔动态的相变

自感知机以来，在训练数据上扩大间隔一直是机器学习中用于提升分类器鲁棒性以获得良好泛化能力的重要策略。然而 Breiman (1999) 揭示了一个困境：间隔分布的均匀改善并不必然降低泛化误差。本文从训练动态中归一化间隔分布相变的新视角，利用近期提出的谱归一化间隔重新审视深度神经网络中的布雷曼困境。分类器在数据上的归一化间隔分布可分为两部分：低/小间隔（如误分类样本的一些负间隔）与高/大间隔（高置信度正确分类样本），它们在训练过程中常表现不同。训练与测试数据集的低间隔常在训练中有效减小，伴随训练与测试误差的降低；而高间隔可能呈现不同动态，反映模型表达能力与数据复杂性之间的权衡。当数据复杂性与模型表达能力相当时，训练与测试数据的高间隔分布在训练中经历相似的先减后增相变。在此情形下，可通过具有受限 Rademacher 复杂度的基于间隔的泛化界预测泛化或测试误差趋势，本文以利用此类相变的早停时间两种方式予以展示。另一方面，过表达模型可能使训练的低与高间隔均经历均匀改善，并在测试间隔动态中出现明显相变。这再次证实了与过参数化神经网络相关的布雷曼困境，其中间隔无法预测过拟合。