基于类级梯度操控的广义数据加权
计算机视觉与模式识别
2021-11-02 v1 信息论
机器学习
math.IT
摘要
标签噪声与类不平衡是真实世界数据集中共存的 two 大问题。为缓解这两个问题，最先进的方法利用少量干净且无偏的数据对每个样本重新加权。然而，这些方法忽视了每个样本中的类级信息，而该信息可进一步用于提升性能。为此，本文提出广义数据加权（GDW），通过操控类级梯度同时缓解标签噪声与类不平衡。具体而言，GDW 通过链式法则将损失梯度展开为类级梯度，并分别对每个梯度的流动重新加权。以此方式，GDW 在两方面均取得显著性能提升。除性能增益外，与样本加权方法相比，GDW 在不引入任何额外计算成本的情况下高效获得类级权重。具体地，GDW 在类级权重上执行梯度下降步，仅依赖于中间梯度。在各种设置下的广泛实验验证了 GDW 的有效性。例如，在 CIFAR10 的 均匀噪声设置下，GDW 以 的优势超越最先进方法。我们的代码见 https://github.com/GGchen1997/GDW-NIPS2021。
引用
@article{arxiv.2111.00056,
title = {Generalized Data Weighting via Class-level Gradient Manipulation},
author = {Can Chen and Shuhao Zheng and Xi Chen and Erqun Dong and Xue Liu and Hao Liu and Dejing Dou},
journal= {arXiv preprint arXiv:2111.00056},
year = {2021}
}
备注
17 pages, 8 figures, accepted by NeurIPS 2021 for a poster session, camera-ready version, initial submission to arXiv