重塑大语言模型在协作问题解决诊断中的多模态潜力

从数字痕迹中检测协作和问题解决行为，以解释学生的协作问题解决（CPS）能力，是人工智能在教育（AIEd）领域的一个长期目标。尽管多模态数据和先进模型被认为有可能检测复杂的CPS行为，但实际证据仍有限，且存在一些相互矛盾的证据。在本研究中，我们调查了多模态数据在改进对78名中学生CPS子技能和指标进行诊断方面的潜力。特别是，使用来自口语数据的文本嵌入和来自音频数据的声学嵌入，用于CPS诊断的多模态分类模型。无论是单模态还是多模态基于变换器的模型都在检测CPS类别方面超越了传统模型。尽管多模态并未提高传统单模态模型的性能，但将其集成到基于变换器的模型中 demonstrated improved performance for diagnosing social-cognitive CPS classes compared to unimodal transformer-based models。基于结果，本文论者多模态和特定建模技术的选择不应被默认为在自动检测每种CPS子技能和指标时获得最佳性能的办法。相反，它们的价值仅限于特定类型的CPS指标，受标签复杂度和数据集中指标组成的影响。我们以讨论在考虑大语言模型和多模态在自动CPS诊断中的价值时所需的细微差别为结论，突出了在真实教育情境中实现人机互补性的必要性，并提出探索相关模型架构和技术以提高CPS诊断的建议。