利用时间自集成从含噪标签数据中学习
计算机视觉与模式识别
2022-07-22 v1
摘要
现实世界的数据集中不可避免地存在许多错误标注数据。由于深度神经网络（DNNs）具有记忆噪声标签的巨大容量，需要一种鲁棒的训练方案来防止标注错误降低 DNNs 的泛化性能。当前最先进的方法提出了一种协同训练方案，使用与小损失相关联的样本训练双网络。然而在实践中，同时训练两个网络会占用计算资源。在本研究中，我们提出了一种简单而有效的鲁棒训练方案，仅通过训练单个网络来运作。在训练期间，所提方法通过从随机梯度下降优化形成的权重轨迹中采样中间网络参数来生成时间自集成。利用这些自集成评估的损失和用于识别错误标注样本。同时，我们的方法通过将输入数据变换为多种形式生成多视图预测，并考虑它们的一致性来识别错误标注样本。通过结合上述度量，我们提出了所提的基于自集成的鲁棒训练（SRT）方法，其能够过滤含噪标签的样本以减少它们对训练的影响。在广泛使用公共数据集上的实验表明，所提方法在不训练双网络的情况下在某些类别上达到了最先进的性能。
引用
@article{arxiv.2207.10354,
title = {Learning from Data with Noisy Labels Using Temporal Self-Ensemble},
author = {Jun Ho Lee and Jae Soon Baik and Tae Hwan Hwang and Jun Won Choi},
journal= {arXiv preprint arXiv:2207.10354},
year = {2022}
}