Cicero：用于精确众包的多轮上下文论证
人机交互
2018-10-26 v1
摘要
传统上用于确保众包高质量的方法难以在困难问题上达到高准确率。在多数人都困惑的最困难问题上，聚合冗余答案往往失败。论证已被证明可有效缓解这些缺陷。然而，现有论证系统仅支持有限交互，并向工作者展示通用理由，而非针对其推理的上下文特定论证。本文提出 Cicero，一种通过实时同步论证让工作者参与多轮上下文讨论以提升困难任务众包准确率的新工作流。我们的实验表明，相较于此前在关系抽取领域仅将平均个体工作者准确率提升 6.8 个百分点的论证系统，我们的工作流实现了 16.7 个百分点的提升。此外，此前的论证方法不适用于具有大量可能答案的任务；相反，Cicero 在此类情况下表现良好，在 Codenames 领域将准确率从 66.7% 提升至 98.8%。
引用
@article{arxiv.1810.10733,
title = {Cicero: Multi-Turn, Contextual Argumentation for Accurate Crowdsourcing},
author = {Quanze Chen and Jonathan Bragg and Lydia B. Chilton and Daniel S. Weld},
journal= {arXiv preprint arXiv:1810.10733},
year = {2018}
}
备注
10 pages