探索基于单模与多模BERT模型的人类-人工智能在CPS诊断中的互补性

使用机器学习技术从对话中检测协作问题解决(CPS)指标是AI教育领域的重要挑战。近期研究探索使用双向编码器表示Transformer(BERT)模型处理转录数据以可靠检测有意义的CPS指标。其中一种显著进展是采用多模态BERT变体AudiBERT,将语音和声学-语音特征整合以增强CPS诊断。尽管初始结果显示出多模态优势,但这些增益的统计显著性尚不明确,且缺乏充分指导如何在CPS诊断任务中充分利用人类-人工智能互补性。本工作针对前期研究进行延伸,表明AudiBERT模型不仅改善了数据集中稀疏类别的分类,且在社交认知维度的分类相对于BERT模型具有统计显著的类别级改进。然而,在情感维度的分类相对于BERT模型,类似的统计显著类别级改进并未观察到。相关性分析表明,更大规模的训练数据与BERT和AudiBERT模型在获取召回率方面的表现显著相关。此外,BERT模型的精确率与人类编码员之间较高的一致性显著相关。当使用BERT模型诊断那些被AudiBERT模型检测良好的子技能中的指标时,所有指标的表现均不一致。我们通过构建结构化方法实现人类-人工智能互补性,并强调包括模型可解释性在内的关键性因素,以支持人类的自主性和在反思性编码过程中保持参与度。