基于加权秩聚合的众包意见质量增强
人机交互
2017-09-01 v1 信息检索
摘要
在基于众包的意见聚合模型中，标注者的专业知识起着重要作用。在此类框架中，标注者的准确度和偏差偶尔被视为重要特征，并据此分配标注者的优先级。但与其依赖单一特征，不如考虑多个特征并生成独立的排名来恰当地评判标注者。最终，可以对这些排名进行加权聚合，以产生更好的真实值预测。在此，我们提出了一种新颖的加权秩聚合方法，并在人工数据集上展示了其相对于其他现有方法的有效性。通过将其应用于 Amazon Mechanical Turk (AMT) 数据集，也展示了加权秩聚合在增强质量预测方面的有效性。
引用
@article{arxiv.1708.09662,
title = {Quality Enhancement by Weighted Rank Aggregation of Crowd Opinion},
author = {Sujoy Chatterjee and Anirban Mukhopadhyay and Malay Bhattacharyya},
journal= {arXiv preprint arXiv:1708.09662},
year = {2017}
}
备注
Works-in-Progress, Fifth AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2017), Quebec City, Canada