提示工程干预对本科生AI自我效能感、AI知识与提示工程能力的影响:一项混合方法研究
计算机与社会
2025-12-11 v1 计算与语言
人机交互
摘要
提示工程对于与大语言模型 (LLMs)(如 ChatGPT)的有效交互至关重要。然而,针对学生教授这一技能的努力一直有限。本研究设计并实施了一项提示工程干预措施,考察其对本科生 AI 自我效能感、AI 知识以及创建有效提示的熟练程度的影响。该干预涉及 27 名学生,他们参加了在香港某大学历史课程期间进行的 100 分钟工作坊。在工作坊中,学生学习了提示工程策略,并将其应用于规划课程的期末论文任务。收集了多种数据来源,包括学生对工作坊前后问卷的回答、工作坊前后的提示库以及书面反思。研究结果表明,由于该干预,学生表现出更高的 AI 自我效能感、增强的 AI 概念理解以及改善的提示工程技能。这些发现对 AI 素养教育具有启示意义,强调了针对特定高等教育应用场景进行提示工程培训的重要性。这是学生零散且直觉性地学习提示工程的重要转变。通过提示工程教育,教育者可以促进学生有效导航和利用 LLMs 来支持其课程学习。
引用
@article{arxiv.2408.07302,
title = {Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study},
author = {David James Woo and Deliang Wang and Tim Yung and Kai Guo},
journal= {arXiv preprint arXiv:2408.07302},
year = {2025}
}
备注
34 pages, 6 figures