基于用户置信度判断的众包平台设计与评估
计算工程、金融与科学
2024-07-04 v3 人机交互
摘要
众包通过利用称为众包群体的大量非专家利用其空闲时间解决问题。在这些系统中，问题的最终答案由汇总社区所得投票决定。通过手机与互联网便利地访问社区成员，使这些系统的使用流行度上升。众包中提出的问题之一是如何选择人员及如何收集答案。通常，基于用户在预测试中的表现进行用户区分。为性能计算设计预测试具挑战性；预测试问题应选择为能测试人员中与主要问题相关的特征。提高众包系统准确性的方法之一是关注人的认知特征与决策模型以形成群体并改进对其答案准确性的估计。人可在决策时估计其响应的正确性。此估计的准确度由称为元认知能力的量决定。元认知指将置信水平与答案一并考虑以提高解准确性的情形。本文通过数学与实验分析回答以下问题：是否可能通过了解个体的元认知并记录和利用用户对其答案的置信度来改进众包系统性能？
引用
@article{arxiv.2212.05777,
title = {Design and Evaluation of Crowd-sourcing Platforms Based on Users Confidence Judgments},
author = {Samin Nili Ahmadabadi and Maryam Haghifam and Vahid Shah-Mansouri and Sara Ershadmanesh},
journal= {arXiv preprint arXiv:2212.05777},
year = {2024}
}