利用点击流轨迹揭示众包预测平台中的低质量工作者
人机交互
2020-09-07 v1 机器学习
摘要
众包工作常需应对认知要求高且耗时的任务。众包可用于从医学影像到地理空间数据等复杂标注任务，此类数据支撑着敏感应用，如健康诊断或自动驾驶。然而，表现不佳的众包工作者之存在与普遍程度已被广泛认知，并可能威胁众包的有效性。本研究中，我们提出使用一种计算框架，借助点击流轨迹识别表现不佳工作者的簇群。我们聚焦于众包地缘政治预测。该框架可揭示不同类型的低质量者，例如预测准确度远离群体共识者、对其预测给出低质量解释者，以及简单从其他用户复制粘贴预测者。我们的研究表明，点击流聚类与分析是诊断依赖群体智慧平台中众包工作者表现的基础性工具。
引用
@article{arxiv.2009.01966,
title = {Leveraging Clickstream Trajectories to Reveal Low-Quality Workers in Crowdsourced Forecasting Platforms},
author = {Akira Matsui and Emilio Ferrara and Fred Morstatter and Andres Abeliuk and Aram Galstyan},
journal= {arXiv preprint arXiv:2009.01966},
year = {2020}
}
备注
12 pages, 8 figures