CrowdTruth 2.0：面向含分歧众包的众包质量度量
人机交互
2018-08-21 v1 社会与信息网络
摘要
通常，基于众包收集标注数据的方法使用标注者间一致性作为质量度量。然而，在许多领域中，数据存在歧义，且信息样本具有多种视角。在本文中，我们介绍正在进行的 CrowdTruth 度量研究，该度量捕获并解释众包中的标注者间分歧。CrowdTruth 度量对众包系统的三个主要组成部分——众包工人、输入数据和标注——之间的相互依赖关系进行建模。这些度量的目标是捕获这三个组成部分各自的歧义程度。这些度量可在 https://github.com/CrowdTruth/CrowdTruth-core 在线获取。
引用
@article{arxiv.1808.06080,
title = {CrowdTruth 2.0: Quality Metrics for Crowdsourcing with Disagreement},
author = {Anca Dumitrache and Oana Inel and Lora Aroyo and Benjamin Timmermans and Chris Welty},
journal= {arXiv preprint arXiv:1808.06080},
year = {2018}
}