论单一方向对泛化的重要性

尽管深度神经网络具有记忆大型数据集的能力，但它们通常能取得良好的泛化性能。然而，能够泛化的网络与不能泛化的网络在学习到的解决方案之间的差异仍不清楚。此外，单一方向（定义为单个单元的激活或某些单元对特定输入的线性组合）的调谐特性已被强调，但其重要性尚未得到评估。在此，我们将这些研究线索联系起来，证明网络对单一方向的依赖是其泛化性能的良好预测指标，这种预测能力适用于在不同损坏标签比例的数据集上训练的网络、在未修改标签的数据集上训练的网络集成、不同的超参数以及整个训练过程。虽然 dropout 只能在一定程度上对该量进行正则化，但批归一化会隐式地阻碍对单一方向的依赖，部分原因在于它降低了单个单元的类别选择性。最后，我们发现类别选择性是任务重要性的一个糟糕预测指标，这不仅表明泛化良好的网络通过降低其选择性来最小化对单个单元的依赖，而且表明单独具有选择性的单元可能并非强大网络性能所必需的。