利用对抗扰动与标签噪声度量卷积神经网络的过拟合
机器学习
2022-09-28 v1
摘要
尽管存在大量减少卷积神经网络（CNNs）过拟合的方法，如何可信地度量过拟合程度仍不明确。然而，一个反映过拟合水平的指标可能极有助于比较不同架构以及评估应对过拟合的各种技术。鉴于过拟合的神经网络往往倾向于记忆训练数据中的噪声而非泛化到未见过的数据，我们考察了在训练数据扰动逐渐增大的情况下训练准确率如何变化，并研究了其与过拟合的联系。先前工作仅关注标签噪声，而我们考察了向训练数据注入噪声的一系列技术，包括对抗扰动与输入损坏。基于此，我们定义了两个能够可信区分正确模型与过拟合模型的新指标。为进行评估，我们导出了一组事先已知其过拟合行为的模型池。为检验各类因素的影响，我们在基于 VGG 和 ResNet 的架构中引入了若干抗过拟合措施，并研究了它们的影响，包括正则化技术、训练集规模与参数量。最后，我们通过度量模型池之外若干 CNN 架构的过拟合程度来评估所提指标的适用性。
引用
@article{arxiv.2209.13382,
title = {Measuring Overfitting in Convolutional Neural Networks using Adversarial Perturbations and Label Noise},
author = {Svetlana Pavlitskaya and Joël Oswald and J. Marius Zöllner},
journal= {arXiv preprint arXiv:2209.13382},
year = {2022}
}
备注
Accepted for publication at IEEE Symposium on Deep Learning at IEEE SSCI 2022