谈谈权重衰减：超参数视角下的过拟合检测

我们引入过拟合-欠拟合指示器（Overfitting-Underfitting Indicator, OUI），这是一种用于监控深度神经网络（DNN）训练动态并识别最优正则化超参数的新型工具。具体而言，我们验证了OUI能够在无需验证数据的情况下有效指导权重衰减（Weight Decay, WD）超参数的选择，通过指示模型在训练期间是过拟合还是欠拟合。通过在DenseNet-BC-100上进行CIFAR-100实验、EfficientNet-B0上进行TinyImageNet实验以及ResNet-34上进行ImageNet-1K实验，我们展示了保持OUI处于预设区间与改进的泛化性能和验证得分高度相关。值得注意的是，OUI的收敛速度显著快于传统指标，如损失或准确率，使实践者能够在训练早期阶段识别最优WD值。通过利用OUI作为可靠指示器，我们可以在训练初期确定所选WD值是导致模型对训练数据进行欠拟合、过拟合，还是在最大化验证得分方面实现良好平衡。这使得针对所测试数据集和DNN实现更精确的WD调谐成为可能。所有用于复现这些实验的代码均可用https://github.com/AlbertoFdezHdez/OUI获取。