相同目标，不同流域：硬标签与软标签在标注者分布中的比较
机器学习
2026-05-21 v1
摘要
当标注者不一致时，这种不一致可能反映的是表观不确定性而非简单的标签噪声。我们研究硬标签交付作为通常选择将投票折叠为单个标签或直接训练经验软标签分布的替代方案。我们关注两种主要硬标签方法：multipass，这种方法在保持数据集大小不变的前提下循环遍历观察到的投票；以及随机标签采样(SLS)，该方法在每个 epoch 开始时对每个示例采样一个标签。在 CIFAR-10H 上，我们发现当每个示例的标注数量很少时，硬标签交付在软标签训练方面表现更好，改进幅度在稀疏经验目标与完整标注者分布相距甚远的地方更大。当可获得完整标注者分布时，两种硬标签方法均与软标签训练相当。我们使用确定性控制作为 multipass 的消除法，并使用打乱 SLS 作为打破示例-分布匹配的控制。我们还显示，SLS 和软标签交叉熵优化相同的期望目标。硬标签交付还导致收敛到更平坦的流域，支持来自 SVHN 和 CIFAR-100 上 OOD 检测的描述性证据。总体而言，这些结果表明，当原始投票计数可用时，multipass 是一个强大的实用默认选项；而 SLS 在每个示例只有少量投票且在可获得完整标注者分布时与软标签训练相当时提供一种轻量级替代方案。
引用
@article{arxiv.2605.20642,
title = {Same Target, Different Basins: Hard vs. Soft Labels for Annotator Distributions},
author = {Mirerfan Gheibi and Gashin Ghazizadeh},
journal= {arXiv preprint arXiv:2605.20642},
year = {2026}
}
备注
14 pages, 12 figures. Accepted to the 2nd Workshop on Epistemic Intelligence in Machine Learning (EIML @ ICML 2026)