关于神经网络训练在测试集与分布上方差的研究
机器学习
2024-06-11 v4
摘要
典型的神经网络训练在重复运行间测试集性能具有显著方差，阻碍了超参数比较与训练可复现性。在本工作中，我们给出如下有助于理解该变化的结果。（1）尽管在其测试集上方差显著，我们证明标准的 CIFAR-10 和 ImageNet 训练在其测试集所采样的潜在测试分布上方差很小。（2）我们表明这些训练在其测试集上做出近似独立的错误。即，训练好的网络在某个特定样本上出错这一事件，并不影响其在其他样本上出错的概率（相对于使用相同超参数重复训练运行的平均错误率）。（3）我们证明神经网络训练在其测试集上的方差是 Jiang 等人（2021）发现的类校准性质（class-calibration property）的下游结果。我们的分析得出了一个简单公式，可准确预测二分类情形的方差。（4）我们通过运行间方差的视角对数据增强、学习率、微调不稳定性与分布偏移进行了初步研究。
引用
@article{arxiv.2304.01910,
title = {On the Variance of Neural Network Training with respect to Test Sets and Distributions},
author = {Keller Jordan},
journal= {arXiv preprint arXiv:2304.01910},
year = {2024}
}