基于流形正则化器 PSDR 防御噪声标签的元方法
机器学习
2019-06-14 v1 机器学习
摘要
噪声标签在真实世界数据集中普遍存在，这对深度神经网络（DNNs）的鲁棒训练提出了挑战，因为 DNNs 容易过拟合到噪声标签。近期多数工作致力于通过从训练集中丢弃噪声样本或为训练样本分配权重来防御噪声标签，其中与噪声样本相关的权重预期较小。因此，这些先前的工作造成了样本浪费，尤其是那些被分配小权重的样本。输入 始终有用，无论其观测标签 是否干净。为充分利用所有样本，我们引入了一种称为成对 Softmax 散度正则化（PSDR）的流形正则化器，以惩罚相似输入的 softmax 输出之间的 Kullback-Leibler（KL）散度。特别地，相似输入可通过数据增强有效生成。PSDR 可轻松在任何类型的 DNNs 上实现，以提升对噪声标签的鲁棒性。如在基准数据集上的经验所示，我们的 PSDR 以显著幅度改进了当前最优结果。
引用
@article{arxiv.1906.05509,
title = {A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR},
author = {Pengfei Chen and Benben Liao and Guangyong Chen and Shengyu Zhang},
journal= {arXiv preprint arXiv:1906.05509},
year = {2019}
}
备注
Correspondence to: Guangyong Chen <[email protected]>