LLM 使用中的引导与交互策略对学习者的表现与感知的影响
人机交互
2024-08-21 v3 人工智能
摘要
基于聊天机器人的个性化教学助手在应对日益增大的班级规模（尤其是教师直接在场有限时）至关重要。大语言模型(LLMs)提供了一条有前景的途径，越来越多研究在探索其教育效用。然而，挑战不仅在于确立 LLMs 的有效性，还在于辨别学习者与这些模型之间交互的细微差别，其影响学习者的参与度与结果。我们在一门本科计算机科学课堂（N=145）和 Prolific 平台上的受控实验（N=356）中开展了形成性研究，以探索四种基于教学法的引导策略对学习者表现、对 LLMs 的信心与信任的影响。直接的 LLM 回答略微提升了表现，而完善学生解决方案则培养了信任。结构化引导减少了随机查询以及学生将作业题目复制粘贴给 LLM 的情况。我们的工作凸显了教师在塑造 LLM 支持的学习环境中所能发挥的作用。
引用
@article{arxiv.2310.13712,
title = {Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception},
author = {Harsh Kumar and Ilya Musabirov and Mohi Reza and Jiakai Shi and Xinyuan Wang and Joseph Jay Williams and Anastasia Kuzminykh and Michael Liut},
journal= {arXiv preprint arXiv:2310.13712},
year = {2024}
}
备注
To appear in CSCW 2024