从提示到命题：面向学生-大语言模型互动的逻辑视角
人机交互
2025-04-29 v1 人工智能
软件工程
摘要
背景与上下文。将大型语言模型（LLM）集成到计算教育中，正在为理解学生如何使用LLM并构建提示以解决计算任务的问题带来新挑战。先前的研究使用定性和定量方法分析提示行为，但这些方法要么缺乏可扩展性，要么未能有效捕捉提示语义演变。目标。在本文中，我们调查学生提示是否可以利用命题逻辑约束进行系统分析。我们检查了这种方法是否可以识别提示演变中的模式、检测困扰学生并提供关于有效和无效策略的见解。方法。我们引入Prompt2Constraints一种新颖的方法，将学生提示翻译为逻辑约束。这些约束能够以简洁且可量化的方式表示提示的意图。我们使用该方法分析了来自203名学生解决入门编程任务时收集的1,872个提示的数据集。发现。我们发现尽管成功和失败的尝试总体上使用的约束数量相似，但当学生失败时，他们往往会对提示进行更显著的修改，中途转变问题解决策略。我们还识别了在细化提示方面可以对学生提供最有帮助的干预点。意义。本工作提供了一种新颖且可扩展的检测在解决自然语言编程任务中感到困扰的学生的方法。该工作可以扩展到更复杂的任务中，并集成到编程工具中，以提供实时支持。
引用
@article{arxiv.2504.18691,
title = {From Prompts to Propositions: A Logic-Based Lens on Student-LLM Interactions},
author = {Ali Alfageeh and Sadegh AlMahdi Kazemi Zarkouei and Daye Nam and Daniel Prol and Matin Amoozadeh and Souti Chattopadhyay and James Prather and Paul Denny and Juho Leinonen and Michael Hilton and Sruti Srinivasa Ragavan and Mohammad Amin Alipour},
journal= {arXiv preprint arXiv:2504.18691},
year = {2025}
}