TeleCrowd：一种用于构建非正式到正式文本语料的众包方法
社会与信息网络
2020-04-27 v1 计算机与社会
摘要
众包近来已被广泛用作传统标注的替代方案，后者成本高昂且通常由专家完成。然而，众包任务本身并无趣味，因此将任务与游戏结合将提高参与者的动机与参与度。在本文中，我们提出了一个名为 TeleCrowd 的游戏化众包平台，该平台基于 Telegram Messenger，利用其社交能力作为基础平台并促进众包项目的完成。此外，为评估所提出平台的性能，我们运行了一个实验性众包项目，包含 500 条非正式波斯语句子，参与者需提供作为句子正式等价物的候选，或通过点赞或点踩对其他候选进行评定。在本研究中，参与者提交了 2700 个候选和 21000 张选票，并使用得分最高（其点赞与点踩之和）的候选构建了一个平行数据集。作为评估，在收集的数据集上取得了 0.54 的 BLEU 分数，表明我们提出的平台可用于创建大型语料库。此外，与其他相关工作相比，该平台在时间段和成本方面高效，因为整个项目持续 28 天，花费 40 美元。
引用
@article{arxiv.2004.11771,
title = {TeleCrowd: A Crowdsourcing Approach to Create Informal to Formal Text Corpora},
author = {Vahid Masoumi and Mostafa Salehi and Hadi Veisi and Golnoush Haddadian and Vahid Ranjbar and Mahsa Sahebdel},
journal= {arXiv preprint arXiv:2004.11771},
year = {2020}
}
备注
14 pages, 9 figures