指导而非帮助：基于 LLM 的多轮计划与层次化提问在托斯古克式代码调试中的实现
计算与语言
2024-11-08 v4 多智能体系统
摘要
托斯古克式提问是一种有效的教学策略，鼓励批判性思维和问题解决能力。大型语言模型（LLM）的对话能力显示出巨大的潜力，可为学生提供可扩展的、实时的指导。然而，当前的 LLM 常常直接给出解决方案，因而不具备有效的教师作用。我们在代码调试领域解决此问题，提出 TreeInstruct——一个由 novel 状态空间规划算法指导的 Instructor 智能体。TreeInstruct 通过提问引导学生独立识别和解决错误。它估算学生的概念性和语法知识，根据学生的反馈和当前知识状态动态构建提问树，有效地在多轮交互环境中同时处理独立错误和依赖性错误。除了使用现有的单错误调试基准数据集外，我们构建了一个更具挑战性的包含 150 个编码问题、错误解决方案及 bug 修复的多错误数据集——所有内容均由专家仔细构建和标注。大量评估表明，TreeInstruct 在两个数据集上实现了状态突破性能，证明其是比基线模型更有效的教师。此外，与五个水平各异的学生进行的真实世界案例研究进一步证明了 TreeInstruct 能够以最小回合数和高度托斯古克式提问引导学生高效调试代码。
引用
@article{arxiv.2406.11709,
title = {Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging},
author = {Priyanka Kargupta and Ishika Agarwal and Dilek Hakkani-Tur and Jiawei Han},
journal= {arXiv preprint arXiv:2406.11709},
year = {2024}
}
备注
Code available at: https://github.com/agarwalishika/TreeInstruct Accepted at EMNLP'24 Findings