特权信息何时能解释掉标签噪声？
机器学习
2023-06-02 v2 计算机视觉与模式识别
摘要
利用特权信息（PI），即训练时可用而测试时不可用的特征，近来被证明是应对标签噪声的一种有效方法。然而，其有效性原因尚不清晰。在本研究中，我们考察 PI 的不同属性在解释掉标签噪声中所起的作用。通过在带有真实 PI（CIFAR-N/H）的多个数据集以及一个新的大规模基准 ImageNet-PI 上的实验，我们发现当 PI 使网络易于区分干净与噪声数据、同时形成记忆噪声样本的学习捷径时，PI 最有帮助。有趣的是，当 PI 对目标标签过于具有预测性时，PI 方法常比其无 PI 基线表现更差。基于这些发现，我们对最先进的 PI 方法提出若干改进，并展示了 PI 作为应对标签噪声手段的潜力。最后，我们展示了如何轻松将所得 PI 方法与现有的专为处理标签噪声设计的无 PI 技术相结合。
引用
@article{arxiv.2303.01806,
title = {When does Privileged Information Explain Away Label Noise?},
author = {Guillermo Ortiz-Jimenez and Mark Collier and Anant Nawalgaria and Alexander D'Amour and Jesse Berent and Rodolphe Jenatton and Effrosyni Kokiopoulou},
journal= {arXiv preprint arXiv:2303.01806},
year = {2023}
}
备注
Accepted ICML 2023, Honolulu