从多位标注者中获取真值：为何标注任务的参数至关重要

近年来，雇用多名工人为机器学习模型标注数据变得越来越重要，因为需要收集大量标注数据以训练复杂模型，同时降低错误和噪声标注的风险。无论是在热门众包平台上进行大规模数据收集，还是在高度专业化的标注任务中使用较小规模的工人团队，都有多种推荐方法可从受雇工人中获取共识并建立真值标签。然而，关于标注任务的各种参数如何影响上述方法的研究极少。这些参数包括工人数量、工人专业水平、分类法中的标签数量以及样本量。本文针对这些参数的不同组合，对多数投票（Majority Vote）、CrowdTruth 和二项期望最大化（Binomial Expectation Maximisation）进行了研究，以更好地理解参数设置如何在真值推断中带来优势。研究结果表明，期望最大化和 CrowdTruth 仅在特定参数条件下才可能比多数投票更具优势，而在许多情况下这些方法并无显著影响。本文给出了何种参数下方法表现最佳的指导，同时实验框架提供了一种测试其他已有方法以及测试新方法的途径，这些新方法可尝试在本文方法未奏效之处提供优势性能。此外，本文也增进了对最优众包参数的理解。