何为真实标签？音频标注中多标注者数据的可靠性

众包已成为标注大量数据的常用方法。其优势在于利用大量劳动力在短时间内产生海量数据，但缺点在于雇用了背景各异的非专家标注者。这引发了数据可靠性问题，此外还带来如何综合多位标注者意见以估计真实标签的普遍疑问。本文针对音频标注的标注与标注者可靠性展开研究。我们将Krippendorf's alpha与多标注者能力估计（MACE）适配于多标签数据场景，并展示如何借助MACE基于具有不同专业水平与能力的非专家用户标注来估计候选真实标签。