评估AI、人类与人机协作反馈的信任度——基于大学生的实验研究

随着生成式AI模型，特别是大型语言模型（LLM），在高等教育（HE）语境中变靡教育反馈实践，理解学生对不同反馈来源的信任感变得至关重要，以确保其有效实施和采纳。本研究通过对91名参与者的 within-subject 实验设计，比较了大学生对LLM、人类和人机协作产出反馈的信任程度。具体而言，我们调查了影响学生区分反馈类型的因素、他们对反馈质量的感知，以及反馈来源相关的潜在偏见。研究发现，在来源被隐去时，学生普遍倾向于AI和人机协作反馈，而人类反馈在感知实用性和客观性方面得分更高。然而，当反馈来源被揭示时，学生对AI表现出强烈的偏见。此外，只有AI反馈在反馈来源被揭示后，才会感知其真实性下降，而人机协作反馈保持了积极的感知。更广泛的AI教育经验提高了学生识别LLM生成反馈的能力，并增加了对所有反馈类型的信任。使用AI用于一般目的的经验年限越多，学生对反馈实用性和可信度的感知就越低。这些发现提供了关于来源可信度重要性以及增强反馈素养和AI素养以减轻学生对AI生成反馈偏见的实证依据。