分歧如何助力抵御标签 corrupt 的泛化？
机器学习
2019-05-14 v3 机器学习
摘要
带噪标签学习是弱监督学习中最热门的问题之一。基于深度神经网络的内存化效应，对小损失样本进行训练在处理噪标签方面变得非常有前景。这催生了最先进的方法“Co-teaching”，它利用小损失技巧交叉训练两个深度神经网络。然而，随着 epoch 增加，两个网络趋于一致，Co-teaching 退化为自训练 MentorNet。为解决这个问题，我们提出了一种称为 Co-teaching+ 的鲁棒学习范式，它将“Update by Disagreement”策略与原始 Co-teaching 相结合。首先，两个网络前向传播并预测所有数据，但仅保留预测分歧数据。然后，在此类分歧数据中，每个网络选择其小损失数据，但反向传播来自其同伴网络的小损失数据并更新自身参数。在基准数据集上的实证结果表明，Co-teaching+ 在训练模型的鲁棒性上远优于许多最先进的方法。
引用
@article{arxiv.1901.04215,
title = {How does Disagreement Help Generalization against Label Corruption?},
author = {Xingrui Yu and Bo Han and Jiangchao Yao and Gang Niu and Ivor W. Tsang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1901.04215},
year = {2019}
}