协同教学：面向极端噪声标签的深度神经网络鲁棒训练
机器学习
2018-10-31 v3 机器学习
摘要
带有噪声标签的深度学习在实践中具有挑战性，因为深度模型的容量很大，以至于它们会在训练过程中迟早完全记住这些噪声标签。然而，近期关于深度神经网络记忆效应的研究表明，它们会先记住干净标签的训练数据，然后再记住噪声标签的数据。因此，本文提出一种称为协同教学（Co-teaching）的深度学习新范式以应对噪声标签。即，我们同时训练两个深度神经网络，并让它们在每个 mini-batch 下相互教学：首先，每个网络对所有数据进行前向传播并选出一些可能为干净标签的数据；其次，两个网络相互通信该 mini-batch 中哪些数据应用于训练；最后，每个网络对其同伴网络所选择的数据进行反向传播并更新自身。在 MNIST、CIFAR-10 和 CIFAR-100 的噪声版本上的实证结果表明，协同教学在训练深度模型的鲁棒性方面远优于最先进（SOTA）方法。
引用
@article{arxiv.1804.06872,
title = {Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels},
author = {Bo Han and Quanming Yao and Xingrui Yu and Gang Niu and Miao Xu and Weihua Hu and Ivor Tsang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1804.06872},
year = {2018}
}
备注
NIPS 2018 camera-ready version