众包平台中专家的特征刻画

众包平台能够向大量参与者提出简单的人类智能任务，由参与者完成这些任务。工作者通常会获得少量报酬，或者平台包含其他激励机制，例如如果他们正确完成任务，可以提高工作者的声誉评分。我们解决了在参与者中识别专家的问题，即倾向于正确回答问题的工作者。了解谁是可靠的工作者可以提高从回答中提取的知识质量。与文献中的其他工作不同，我们假设参与者可以在不确定其回答是否正确时给出部分或不完整的回答。我们借助信度函数对这种部分或不完整的回答进行建模，并推导出一个表征每个参与者专业水平的度量。该度量基于代表专业水平两个部分的精确度和准确度。精确度反映了参与者的可靠性水平，准确度反映了参与者的知识水平。我们还通过仿真分析了我们的模型，并证明了我们更丰富的模型可以更可靠地识别专家。