认知偏差在对话智能体评估中影响的研究

人类经常与对话智能体交互。通过神经网络生成的生成式语言建模的快速发展，推动了智能对话智能体的创建。研究者通常通过众包判断来评估其模型的输出，但对此类研究尚无可确立的最佳实践。此外，当众包工作者承担这些任务时，决策中的认知偏差是否影响其判断尚不清楚。为调查此问题，我们对77名众包工作者进行了被试间研究，以理解当人类被要求评估对话智能体输出时认知偏差（特别是锚定偏差）的作用。我们的结果为了解如何最好地评估对话智能体提供了见解。我们发现两种实验条件下评分一致性的提高可能是锚定偏差的结果。我们还确定时间与类似任务的先验经验等外部因素对评分者间一致性有影响。