利用大型语言模型识别协作学习中的对话线程

理解想法在小组对话中如何发展和流动对于分析协作学习至关重要。这些互动的关键结构特征是线程化，即话语如何自然地组织成随时间演变的交织话题线索。虽然线程化在非同步文本环境中已被广泛研究，但在同步语音对话中检测线程仍具有挑战性，因为存在重叠的轮次和隐含线索。与此同时，大型语言模型（LLM）在自动化话语分析方面显示出前景，但往往在依赖于追踪这些对话链接的长上下文任务中感到困难。本文我们研究在小组话语中基于关系移动的 LLM 编码是否受显式线程链接的影响。我们贡献了一套系统化的指南，用于识别同步多方转录中的线程，并对不同的 LLM 提示策略进行基准测试以实现自动化线程化。随后我们测试了线程化如何影响对下游对话分析框架编码的性能，这些框架捕捉核心协作动作，如同意、构建和引导。我们的结果表明，提供清晰的对话线程信息会提高 LLM 编码性能，并凸显了下游分析对良好结构化对话的强烈依赖。我们还讨论了在时间和成本之间的实际权衡，强调人类-人工智能混合方法在何处能够获得最佳价值。总体而言，本工作推进了将 LLM 与稳健的对话线程结构相结合，以理解复杂实时小组互动的方法。