基于完美基准对人类错误的评估

越来越多的领域为我们提供了关于人类决策的详细轨迹数据，在这些场景中我们可以通过算法来评估这些决策的质量。受这一发展的启发，一个新兴的研究方向开始考虑我们是否能够刻画并预测人们可能犯错的决策类型。为了探究一个通用的人类错误预测框架可能是什么样的，我们聚焦于一个在行为科学中有着丰富历史的模型系统：国际象棋棋手在对局中选择走法时所作出的决策。我们利用包含数百万盘记录对局的数据集进行大规模分析，并使用国际象棋残局库为一部分已被计算机完全求解但即使对世界上最好的棋手而言仍具挑战性的棋局获取一种形式的真实标签。我们围绕三类特征组织我们的分析，我们认为这些特征存在于大多数适用人类错误分析的场景中：决策者的技能、可用于作出决策的时间以及决策的内在难度。我们在所有这三类特征中都识别出了丰富的结构，并发现有强有力的证据表明，在我们的领域中，描述实例内在难度的特征比基于技能或时间的特征要显著强大得多。