通过域的规则化标注应对具有域标签噪声的子群体偏移鲁棒性
机器学习
2024-06-27 v2 机器学习
摘要
旨在优化最差组精度（Worst-Group Accuracy, WGA）的现有最后一层重训练方法严重依赖于训练数据中标注良好的组。我们从理论和实践两方面表明，使用下采样或上加权进行 WGA 的基于标注的数据增强容易受到域标注噪声的影响，并且在 高噪声情况下，其 WGA 接近于使用普通经验风险最小化训练的模型。我们引入了域的规则化标注（Regularized Annotation of Domains, RAD），以在无需显式域标注的情况下训练鲁棒的最后一层分类器。我们的结果表明，RAD 与其他最近提出的无域标注技术具有竞争力。最重要的是，在几个公开可用的数据集上，即使训练数据中仅存在 5% 的噪声，RAD 的表现也优于依赖标注的最先进方法。
引用
@article{arxiv.2402.11039,
title = {Robustness to Subpopulation Shift with Domain Label Noise via Regularized Annotation of Domains},
author = {Nathan Stromberg and Rohan Ayyagari and Monica Welfert and Sanmi Koyejo and Richard Nock and Lalitha Sankar},
journal= {arXiv preprint arXiv:2402.11039},
year = {2024}
}
备注
Generalized Gaussian assumption