通过有限获取真实答案激励评价：同伴预测反而使问题恶化
计算机科学与博弈论
2016-06-23 v1
摘要
在许多场景中，评价感兴趣对象的有效方法是收集分散个体的评价并将其汇总。例如，对在线内容进行分类以及通过同伴评分评估学生作业。对于这一数据科学问题，一个挑战是激励参与者认真进行评价并如实报告，尤其是在这样做需要付出成本的情况下。现有方法，特别是同伴预测机制，可以在均衡状态下激励真实报告。然而，它们也会产生一些均衡，在这些均衡中，代理人不会付出准确评价所需的成本，因而无法获取有用信息。我们证明，只要代理人能够利用关于被评价项目的低成本信号（如文本标签或图片）进行协调，这一问题就不可避免。随后，我们考虑通过将代理人的报告与真实答案进行比较来规避这一问题，在实践中，当存在可信评价者时（例如同伴评分场景中的助教），真实答案是可获取的，这些评价者能够进行有限数量的无偏（但有噪声）评价。当然，当这种真实答案可用时，一种更简单的方法也是可行的：以一定概率根据与真实答案的一致性奖励每个代理人，否则无条件奖励该代理人。令人惊讶的是，我们证明，与大量同伴预测机制相比，这种更简单的机制在获取真实答案更少的情况下，能实现更强的激励保障。
引用
@article{arxiv.1606.07042,
title = {Incentivizing Evaluation via Limited Access to Ground Truth: Peer-Prediction Makes Things Worse},
author = {Alice Gao and James R. Wright and Kevin Leyton-Brown},
journal= {arXiv preprint arXiv:1606.07042},
year = {2016}
}