批次间差异作为早停的信号
机器学习
2021-07-15 v1
摘要
我们提出了一种用于评估以 mini-batch 梯度下降训练的深层神经网络泛化能力的度量。我们的度量称为梯度差异（gradient disparity），是从训练集中抽取的两个 mini-batch 的梯度向量之间的 范数距离。它源于一个概率上界：当网络在该 mini-batch 上训练与当网络在从同一数据集采样的另一个 mini-batch 上训练时，给定 mini-batch 上分类误差之差的概率上界。我们通过实验表明，梯度差异是一种非常有前景的早停准则：（i）当数据有限时，因为它使用所有样本进行训练；（ii）当可用数据带有噪声标签时，因为它比验证数据更能指示过拟合。此外，我们在广泛的实验设置中表明，梯度差异与训练集和测试集之间的泛化误差密切相关，并且它也能很好地反映标签噪声的水平。
引用
@article{arxiv.2107.06665,
title = {Disparity Between Batches as a Signal for Early Stopping},
author = {Mahsa Forouzesh and Patrick Thiran},
journal= {arXiv preprint arXiv:2107.06665},
year = {2021}
}