ProCoT：通过与大型语言模型交互激发学生的批判性思维与写作
计算与语言
2024-05-02 v2
摘要
我们引入了一种名为探测思维链（ProCoT）的新型写作方法，该方法有可能防止学生使用大型语言模型（LLM）如 ChatGPT 作弊，同时增强他们的主动学习。LLM 已经颠覆了教育及许多其他领域。由于担心学生作弊，许多人已诉诸禁止其使用。这些 LLM 也以幻觉著称。我们在两门不同的课程中与 65 名学生一起进行了 ProCoT 研究。每门课程的学生被要求用四个问题中的一个来提示他们选择的 LLM，并被要求使用同行评审的参考文献来证实或反驳 LLM 输出中的陈述。结果显示了两点：（1）当我们将仅 LLM 的输出与 ProCoT 输出进行比较时，ProCoT 通过与 LLM 的交互激发了学生的创造性/批判性思维和写作；（2）当我们将学生的 ProCoT 输出与 LLM 的 ProCoT 输出进行比较时，由于现有 LLM（特别是 ChatGPT）的明显局限性，ProCoT 可以防止作弊。我们还发现，大多数学生倾向于用比 LLM 更少的字数来给出答案，而 LLM 通常较为冗长。第一门课程的学生、ChatGPT（v3.5）和 Phind（v8）的平均字数分别为 208、391 和 383。
引用
@article{arxiv.2312.09801,
title = {ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)},
author = {Tosin Adewumi and Lama Alkhaled and Claudia Buck and Sergio Hernandez and Saga Brilioth and Mkpe Kekung and Yelvin Ragimov and Elisa Barney},
journal= {arXiv preprint arXiv:2312.09801},
year = {2024}
}
备注
8 pages, 4 figures