时间对深度网络正则化至关重要：权重衰减与数据增强影响早期学习动态，在接近收敛时作用甚微
机器学习
2019-06-03 v1 人工智能
机器学习
摘要
正则化通常被理解为通过改模型最终收敛到的局部极值景观来改善泛化能力。然而，深度神经网络（DNNs）对这一观点提出了挑战：我们表明，在初始瞬态期之后移除正则化对泛化影响甚微，即使最终损失景观与从未进行正则化时相同。在某些情况下，中断正则化后泛化能力甚至有所提升。反之，如果仅在初始瞬态期之后施加正则化，则对最终解没有任何影响，其泛化差距与从未进行正则化时一样差。这表明，训练深度网络的关键不仅在于是否以及如何正则化，更在于何时正则化。我们观察到这一现象在多个数据集中（CIFAR-10、CIFAR-100）、不同架构中（ResNet-18、All-CNN）、不同正则化方法中（权重衰减、数据增强）以及不同学习率调度中（指数、分段常数）均有所体现。它们共同表明，深度网络的正则化存在一个决定最终性能的“关键期”。因此，更多的分析应聚焦于学习的瞬态行为而非渐近行为。
引用
@article{arxiv.1905.13277,
title = {Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence},
author = {Aditya Golatkar and Alessandro Achille and Stefano Soatto},
journal= {arXiv preprint arXiv:1905.13277},
year = {2019}
}