基于条件分布鲁棒优化的噪声标签学习
机器学习
2024-11-27 v1
摘要
虽然 众包方法已成为大规模数据标注的实用方案，但因标注员经验水平参差不齐导致标签噪声，成为学习准确模型的主要挑战。现有方法通常估计基于实例和噪声标注的真实标签后验分布，以推断真实标签或调整损失函数。但这些估计常常忽略了真实标签后验分布的潜在误指定性，在高噪声情境下会严重影响模型性能。为此，我们通过条件分布鲁棒优化（CDRO）框架，研究基于估计的真实标签后验进行的噪声标签学习。我们提出将问题表述为在以参考分布为中心的距离型模糊集内最小化最坏情况风险。通过检验该表述的强对偶性，我们导出最坏情况风险的上界，并为每个数据点推导双鲁棒风险的解析解。这导致一种新型鲁棒伪标签算法，利用似然比检验构建伪经验分布，为 CDRO 提供稳健的参考概率分布。此外，为实现 CDRO 的高效算法，我们推导经验鲁棒风险和双问题最优拉格朗日乘子的闭式表达式，实现鲁棒性与模型拟合之间的原则性平衡。实验结果在合成数据和真实数据集上均表明我们方法的优越性。
引用
@article{arxiv.2411.17113,
title = {Learning from Noisy Labels via Conditional Distributionally Robust Optimization},
author = {Hui Guo and Grace Y. Yi and Boyu Wang},
journal= {arXiv preprint arXiv:2411.17113},
year = {2024}
}