带噪声标签的噪声提前停止

在带有噪声标签的数据集上训练神经网络分类器会显著增加过拟合风险。因此，在噪声标签环境中有效实现提前停止是至关重要的。在理想情况下，提前停止利用来自无标签噪声污染的验证集，以有效监控训练期间的泛化。然而，获取无噪声验证数据集可能昂贵且难以获得。本研究表明，在许多典型的学习环境中，无需无噪声验证集即可实现有效的提前停止。相反，可以通过监控在与噪声训练集相同分布的噪声数据集上的准确性来实现接近最优的结果。该方法称为“噪声提前停止”(Noisy Early Stopping, NES)，可简化并降低提前停止的实施成本。我们提供了该方法有效性所需条件的理论见解，并在使用常见损失函数的标准基准上实证演示了其稳健性能。