MentorNet：在含损坏标签数据上学习数据驱动的课程以训练极深神经网络
计算机视觉与模式识别
2018-08-15 v2
摘要
近期的深度网络即使标签完全随机也能记住整个数据。为克服在损坏标签上的过拟合，我们提出一种新技术，即学习另一个称为 MentorNet 的神经网络来监督基础深度网络（即 StudentNet）的训练。在训练期间，MentorNet 为 StudentNet 提供一个课程（样本加权方案），使其聚焦于标签可能正确的样本。与通常由人类专家预定义的现有课程不同，MentorNet 随 StudentNet 动态学习数据驱动的课程。实验结果表明，我们的方法能显著提升在损坏训练数据上训练的深度网络的泛化性能。值得注意的是，据我们所知，我们在 WebVision（一个包含 220 万张真实世界噪声标签图像的大型基准）上取得了已发表的最佳结果。代码见 https://github.com/google/mentornet
引用
@article{arxiv.1712.05055,
title = {MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels},
author = {Lu Jiang and Zhengyuan Zhou and Thomas Leung and Li-Jia Li and Li Fei-Fei},
journal= {arXiv preprint arXiv:1712.05055},
year = {2018}
}