缓解众包标签聚合中的观测偏差
人机交互
2023-02-28 v1 机器学习
摘要
众包已广泛用于以低成本从大量人力资源高效获取监督学习所需的标注数据集。然而,从众包获得高质量结果的技术挑战之一在于:执行工作的为人,由此产生的变异与偏差需加以处理,诸多研究通过集成冗余收集的反应来提升质量。本研究关注众包中的观测偏差。工人反应频率的差异与任务复杂度会引发变异,当其与反应质量相关时可能影响聚合结果。我们提出结合因果推断中观测数据偏差去除方法的众包反应统计聚合方法。通过使用合成与真实数据集(含/不含人工注入的垃圾与合谋工人)的实验,我们验证了所提方法在强观测偏差下提升聚合精度,并对垃圾与合谋工人具鲁棒性。
引用
@article{arxiv.2302.13100,
title = {Mitigating Observation Biases in Crowdsourced Label Aggregation},
author = {Ryosuke Ueda and Koh Takeuchi and Hisashi Kashima},
journal= {arXiv preprint arXiv:2302.13100},
year = {2023}
}
备注
International Conference on Pattern Recognition (ICPR), 2022