中文

少能否为多?当提高至平衡的标签噪声率被视为有益时

机器学习 2021-11-09 v2 机器学习

摘要

在本文中,我们回答以下问题:何时插入标签噪声(信息量更少的标签)反而能让我们获得更准确和公平的模型。我们主要受三点观察启发:1)与降低标签噪声率相反,提高噪声率易于实现;2)提高某类实例的标签噪声以平衡噪声率(提高至平衡)会带来更易学习的问题;3)提高至平衡改善了对抗标签偏差的公平性保证。在本文中,我们首先量化了提高某组实例的标签噪声率所引入的权衡,涉及标签信息量的损失和学习难度的降低。我们分析地展示了这种提高何时是有益的,无论是就改进的泛化能力还是公平性保证而言。然后我们提出了一种为带噪声标签的学习任务正确插入标签噪声的方法,无论有无公平性约束。我们面临的主要技术挑战在于,我们不知道哪些数据实例遭受更高的噪声,也没有真实标签来验证任何可能的假设。我们提出了一种检测方法,在不使用真实标签的情况下告知我们哪组标签可能遭受更高噪声。我们形式化地确立了所提方案的有效性,并通过大量实验进行了演示。

关键词

引用

@article{arxiv.2107.05913,
  title  = {Can Less be More? When Increasing-to-Balancing Label Noise Rates Considered Beneficial},
  author = {Yang Liu and Jialu Wang},
  journal= {arXiv preprint arXiv:2107.05913},
  year   = {2021}
}

备注

NeurIPS 2021