缓解多标准众包评估中的认知偏差
人机交互
2024-07-30 v1 机器学习
摘要
众包是进行大规模质量评估的一种简单、廉价且快速的方式;然而，人类判断常受到认知偏差的影响，这会降低其可信度。在本研究中，我们聚焦于众包中与多标准评估相关的认知偏差;评估目标时，众包工作者可能会同时对多个不同标准进行评分，由于某些标准的突出性或对评估目标的整体印象，这可能会导致偏差的响应。为识别并缓解此类偏差，我们首先使用众包创建评估数据集，探讨跨标准认知偏差对众包工作者响应的影响。随后，我们提出两种特定的贝叶斯意见聚合模型结构，以考虑跨标准关系。我们的实验表明，将我们提出的结构纳入聚合模型后，能够有效减少认知偏差，并帮助获得更准确的聚合结果。
引用
@article{arxiv.2407.18938,
title = {Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment},
author = {Shun Ito and Hisashi Kashima},
journal= {arXiv preprint arXiv:2407.18938},
year = {2024}
}