基于加权边界下面积融合众包标签以识别模糊任务
机器学习
2023-12-04 v3 人机交互
机器学习
摘要
在监督学习（例如图像分类）中，现代大规模数据集通常由一群工作者标注。在众包设置下获得的标签随后被聚合用于训练，通常利用每个工作者的可信度分数。然而，此类以工作者为导向的方法忽略了任务的模糊性。模糊任务可能误导专家工作者，这通常对学习任务有害。在标准监督学习设置（每个任务一个标签）中，边界下面积（AUM）被专门设计用于识别错标数据。我们将 AUM 改造以在众包学习场景中识别模糊任务，引入了加权边界下面积（WAUM）。WAUM 是根据任务相关分数加权的 AUM 的平均值。我们表明 WAUM 可帮助从训练集中丢弃模糊任务，从而获得更好的泛化性能。我们在模拟设置以及真实数据集（如 CIFAR-10H（一个具有大量已回答标签的众包数据集）、LabelMe 和 Music（两个具有少量已回答投票的数据集））上报告了相对于现有众包学习策略的改进。
引用
@article{arxiv.2209.15380,
title = {Identify ambiguous tasks combining crowdsourced labels by weighting Areas Under the Margin},
author = {Tanguy Lefort and Benjamin Charlier and Alexis Joly and Joseph Salmon},
journal= {arXiv preprint arXiv:2209.15380},
year = {2023}
}