谁是领袖？分析LLM辅助机器学习代码调试中的初学者工作流程
人机交互
2025-05-14 v1
摘要
尽管LLM常被宣传为 democratizing 专业知识以帮助初学者的工具，但其实际提升任务性能和学习效果的作用仍是未知问题。已知初学者与专家不同地与LLM互动，先前研究报道了影响初学者验证输出和有效提示的元认知陷阱。我们聚焦机器学习（ML）任务域，该领域兼具高复杂度与低可验证性，理解LLM辅助对初学者的影响。提供有故障的ML脚本并开放ChatGPT访问，我们对八名初学者ML工程师进行形式化研究，洞察其对LLM的依赖程度、互动方式及感知。我们发现用户行为可大致归类为引导LLM与被LLM引导，进而探讨其对依赖结果（如过度或不足依赖）的影响。结果揭示了初学者在LLM辅助任务中的认知参与度，以及潜在对下游学习的负面影响。最后，我们提出可能的改进方案，以促进初学者-LLM互动范式中的认知参与。
引用
@article{arxiv.2505.08063,
title = {Who's the Leader? Analyzing Novice Workflows in LLM-Assisted Debugging of Machine Learning Code},
author = {Jessica Y. Bo and Majeed Kazemitabaar and Emma Zhuang and Ashton Anderson},
journal= {arXiv preprint arXiv:2505.08063},
year = {2025}
}
备注
Tools for Thought Workshop at CHI 2025