一种面向众包排序的通用早停模块
数据库
2019-11-05 v1 机器学习
摘要
众包可用于基于群体意见确定对象集（例如 NBA 前十球员）的全序。该排序问题常被分解为一组微任务（例如成对比较）。这些微任务被分发给大量工作者，并聚合其回答以推断排序。微任务的数量取决于为该问题分配的预算。直观上，微任务回答越多，排序越准确。然而，往往难以决定准确排序所需的预算。我们研究如何尽早终止排序过程，同时实现高质量排序并大幅节省预算。我们利用统计工具在众包过程的任意阶段估计排序结果的质量，并在达到所需质量时立即终止过程。我们提出的早停模块可无缝集成于大多数现有推断算法与任务分配方法。我们进行了大量实验，表明我们的早停模块优于其他现有通用停止准则。我们还实现了一个原型系统，以展示该方法在实践中的可用性与有效性。
引用
@article{arxiv.1911.01042,
title = {A General Early-Stopping Module for Crowdsourced Ranking},
author = {Caihua Shan and Leong Hou U and Nikos Mamoulis and Reynold Cheng and Xiang Li},
journal= {arXiv preprint arXiv:1911.01042},
year = {2019}
}