可得性 heuristic 在多选题答题行为中的作用

当学生对多选题的正确答案不确定时，随意作答是常见的做法。1973 年由 A. Tversky 和 D. Kahneman 提出的可得性 heuristic 建议，相关实例被轻易想象到的程度（通常由暴露频率所操作化）可以为测试者不知正确答案时的问题提供一种心理捷径。仅仅选择最容易被想象到的选项是否是解答多选题的好策略？我们提出了一种评估 MCQ 选项认知可得性的计算方法，操作化为概念在大型语料库中的流行度。我们的关键发现表明，无论题目陈述如何，正确答案的可得性显著高于错误的 MCQ 选项。具体而言，使用维基百科作为检索语料，我们发现始终选择最可得选项的策略可使得分比随机猜测基准提高 13.5% 到 32.9%。我们进一步发现，LLM 生成的 MCQ 选项的可得性模式与专家创建的选项相似，尽管 LLMs 具有频率主义特性且训练于大型文本数据集合。我们的发现表明，在计算建模学生行为时，应考虑可得性因素。