DialCrowd 2.0：一个以质量为中心的对话系统众包工具包
计算与语言
2022-07-27 v1
摘要
对话系统开发者需要高质量数据来训练、微调并评估他们的系统。他们常为此使用众包，因为其能提供来自众多工作者的海量数据。然而，数据质量可能不够好。这可能是由于请求者呈现任务的方式以及他们与工作者交互的方式所致。本文介绍 DialCrowd 2.0，以通过例如更清晰地呈现任务和促进与工作者的有效沟通，帮助请求者获取更高质量的数据。DialCrowd 2.0 引导开发者创建改进的人类智能任务（HIT），并直接适用于开发者和研究人员当前使用的工作流。
引用
@article{arxiv.2207.12551,
title = {DialCrowd 2.0: A Quality-Focused Dialog System Crowdsourcing Toolkit},
author = {Jessica Huynh and Ting-Rui Chiang and Jeffrey Bigham and Maxine Eskenazi},
journal= {arXiv preprint arXiv:2207.12551},
year = {2022}
}
备注
Published at LREC 2022