理解学习者与LLM聊天机器人交互及提示指南的影响

大型语言模型（LLM）通过实现与AI驱动聊天机器人之间的自然语言交互，彻底变革了人机交互。这些模型设计为直观易用，允许用户以最少的 effort 表达请求。然而，尽管具有可访问性，研究仍显示用户在有效提示方面存在困难，导致响应效率低下。现有研究既指出LLM在解释模糊或结构不良的提示方面的局限性，也强调用户在构建精确查询方面的困难。本研究通过一次教育实验调查学习者与AI之间的交互，实施了关于有效提示的结构化指导。我们引入并比较三种提示指南：一种通过结构化方法开发的任务特定框架，以及两种基线方法。为评估用户行为与提示效果，我们分析了来自107名用户的642次交互数据集。运用扩展的现实主义注释模式（Von NeuMidas）进行LLM交互分析，我们对常见的提示错误进行分类，识别出反复出现的行为模式。随后，我们通过考察不同指南对用户行为变化、提示策略遵循程度以及AI生成响应整体质量的影响，评估了各类指南的效果。我们的发现深化了人们如何与LLM互动以及结构化提示指导在提升AI交互式沟通中的作用。通过比较不同指令框架，本文为改善用户在AI交互中掌握技能提供了洞见，为AI素养、聊天机器人可用性以及更响应式AI系统的设计提供了启示。