论 AI 与人类评估中的批判性思维反驳论
计算与语言
2026-05-08 v1 人工智能
摘要
本干预研究探讨了在生成式 AI（GenAI）语境中，使用反驳论来提升学生批判性思维的做法。尤其是在 GenAI 使用风险导致作弊和认知卸载的风险下。我们将 36 名大学课程中的学生随机分配，对 4 个精心挑选的论点陈述（来自流行辩论集合）进行写作。我们采用六个既定评估标准（聚焦、逻辑、内容、风格、正确性和参考），对每个写作的三次人类评估（两次学生同行评审和一次经验丰富的教师）进行 5 分制的评分。使用相同的评估标准和指南，我们还将同一写作提交物由六个前沿大语言模型作为评判者进行评估。我们的混合方法设计包括每个评估的定性开放式反馈和定量方法。结果显示：（1）学生对 AI 生成内容的自写反驳论包含逻辑等批判性思维的关键要素；（2）GenAI 可成功按比例评估学生书面作品，基于明确的评估标准，这些评估通常与人类评估一致，Gwets AC2 间信度值达 0.33（除一模型外）。
引用
@article{arxiv.2605.05353,
title = {Counterargument for Critical Thinking as Judged by AI and Humans},
author = {Tosin Adewumi and Marcus Liwicki and Foteini Simistira Liwicki and Lama Alkhaled and Hamam Mokayed and Esra Sümer-Arpak},
journal= {arXiv preprint arXiv:2605.05353},
year = {2026}
}
备注
9 pages