规避冒名者与恶意者:对抗性众包与同行预测
人机交互
2016-06-20 v1 密码学与安全
数据结构与算法
计算机科学与博弈论
机器学习
摘要
我们考虑这样一个众包模型: 个工人被要求对先前由其他工人生成的 个物品的质量进行评分。一个未知的 个工人集合生成可靠的评分,而其余工人可能任意行事,甚至可能具有对抗性。实验管理者也可以手动评估少量物品的质量,并希望将几乎所有高质量物品与至多 比例的低质量物品一起筛选出来。令人惊讶的是,我们表明这是可能的,且管理者和每个工人所需的工作量不随 增加:数据集可以通过每个工人 次评分和管理者 次评分来筛选,其中 是高质量物品的比例。我们的结果扩展到更一般的同行预测设置,包括在线课堂中的同行评分。
引用
@article{arxiv.1606.05374,
title = {Avoiding Imposters and Delinquents: Adversarial Crowdsourcing and Peer Prediction},
author = {Jacob Steinhardt and Gregory Valiant and Moses Charikar},
journal= {arXiv preprint arXiv:1606.05374},
year = {2016}
}
备注
18 pages