SIGUA：遗忘可使带噪标签学习更鲁棒
机器学习
2020-10-19 v3 机器学习
摘要
给定带噪标签的数据，过参数化深度网络会逐渐记忆数据，并最终拟合所有内容。尽管许多该领域的学习方法配备了对噪标签的修正，仍因不期望的记忆而遭受过拟合。本文为缓解此问题，提出随机积分梯度欠加权上升（SIGUA）：在小批量中，我们对好数据如常采用梯度下降，对坏数据采用学习率降低的梯度上升；该方案是一种通用方法，其中数据好或坏是相对于给定基学习方法的期望或非期望记忆而言的。从技术上讲，当优化目标彼此冲突时，SIGUA 将优化拉回以提升泛化；从哲学上讲，SIGUA 表明遗忘非期望记忆可强化期望记忆。实验表明 SIGUA 成功使两种典型基学习方法更鲁棒，其性能常得到显著提升。
引用
@article{arxiv.1809.11008,
title = {SIGUA: Forgetting May Make Learning with Noisy Labels More Robust},
author = {Bo Han and Gang Niu and Xingrui Yu and Quanming Yao and Miao Xu and Ivor Tsang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1809.11008},
year = {2020}
}
备注
ICML 2020 final version