量化问答系统中认知偏差的影响
人机交互
2019-10-02 v1 社会与信息网络
摘要
众包能够识别问题的高质量解决方案;然而,个体决策受认知偏差制约。我们在问答系统的实验模型中研究其中若干偏差。在自然与受控实验中,我们观察到一种强烈的位置偏差,偏向于出现在选项列表较前位置的答案。该效应被三种认知因素增强:答案获得的注意力、其感知流行度,以及由用户需处理的选项数量衡量的认知负荷。尽管各自单独作用较弱,这些效应协同放大位置偏差,并使用户对最佳答案的选择脱离其内在质量。我们在文末讨论了可应用这些发现以实质性改进问答系统中高质量答案获取方式的新途径。
引用
@article{arxiv.1909.09633,
title = {Quantifying the Impact of Cognitive Biases in Question-Answering Systems},
author = {Keith Burghardt and Tad Hogg and Kristina Lerman},
journal= {arXiv preprint arXiv:1909.09633},
year = {2019}
}
备注
9 pages, 5 figures