神经网络极端过拟合点的实证研究
机器学习
2020-04-03 v2 机器学习
摘要
本文提出一种获取极端过拟合点的方法——即现代神经网络的参数，在这些参数下它们在训练集上表现出接近100%的准确率，同时在测试样本上几乎为零准确率。尽管普遍观点认为，神经网络损失函数的绝大多数临界点具有同等的良好泛化能力，但此类点具有巨大的泛化误差。本文研究了此类点的性质及其在现代神经网络损失函数曲面上的位置。
引用
@article{arxiv.1906.06295,
title = {Empirical study of extreme overfitting points of neural networks},
author = {Daniil Merkulov and Ivan Oseledets},
journal= {arXiv preprint arXiv:1906.06295},
year = {2020}
}