考虑注意力因素的众包标注解答

众包是一种相对经济高效的方案，可通过在线平台从人群收集标注。来自不同专业水平工人的答案可能含有噪声且不可靠，标注数据的质量需要进一步维护。已有多种方案尝试获取高质量标注。然而，它们都假设工人的标注质量随时间稳定（无论何时执行任务都处于同一水平）。在实践中，工人的注意力水平随时间变化，忽略这一点会影响标注的可靠性。本文关注一种新颖且现实的涉及注意力感知标注的众包场景。我们提出一种新的概率模型，考虑工人注意力以估计标注质量。采用期望传播对我们的模型进行高效贝叶斯推断，并推导广义期望最大化算法来估计所有任务的真值以及每个具有注意力的众包工人的标注质量。此外，根据注意力的变化估计最适合工人的任务数量。在三个真实世界和一个半模拟数据集上对比相关方法的实验表明，我们的方法量化了工人注意力与给定任务上标注质量之间的关系，并改进了聚合标签。