关于人类标注不确定性的影响
计算机视觉与模式识别
2022-11-14 v1 人工智能
机器学习
摘要
人类在数据标注过程中表现出分歧。我们将此分歧称为人类标注不确定性（HLU）。本文中，我们研究人类标注不确定性（HLU）的影响。在 HLU 存在下对现有不确定性估计算法的评估表明，现有不确定性度量及算法本身在应对 HLU 时存在局限。同时，我们观察到预测不确定性与泛化能力受到不当影响。为缓解这些不当影响，我们提出了一种新颖的基于自然场景统计（NSS）的标签稀释训练方案，无需大量人类标注。具体而言，我们首先依据图像统计规律筛选出感知质量较低的样本子集。随后，为该子集中每个样本分配独立标签，从而获得具有稀释标签的训练集。我们的实验与分析表明，基于 NSS 的标签稀释训练可缓解 HLU 引起的不当影响。
引用
@article{arxiv.2211.05871,
title = {On the Ramifications of Human Label Uncertainty},
author = {Chen Zhou and Mohit Prabhushankar and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2211.05871},
year = {2022}
}