中文

基于生成式AI的教师对话行为自动分类:以CIMA语料库为案例

计算与语言 2025-09-12 v1 人工智能

摘要

本研究探索了使用生成式AI自动对教师对话行为(Dialogue Acts, DAs)进行分类,以减少传统人工编码所需的时间和 effort。该案例研究使用开源CIMA语料库,其中对教师响应进行预先标注为四个DA类别。我们对GPT-3.5-turbo和GPT-4模型进行了测试,使用量身定制的提示语。结果表明,GPT-4达到了80%的准确率,加权F1分数为0.81,Kappa系数为0.74,超越基线性能,表明其与人工标注具有实质性一致性。这些发现表明,生成式AI具有强大的潜力来提供一种高效且易于访问的DA分类方法,对教育对话分析具有实质性意义。该研究还强调了在提高自动标注质量方面,任务特定的标签定义和上下文信息的重要性。最后,还概述了生成式AI使用的伦理考虑,以及需要负责任和透明研究实践的必要性。该研究脚本已公开于https://github.com/liqunhe27/Generative-AI-for-educational-dialogue-act-tagging。

关键词

引用

@article{arxiv.2509.09125,
  title  = {Automated Classification of Tutors' Dialogue Acts Using Generative AI: A Case Study Using the CIMA Corpus},
  author = {Liqun He and Jiaqi Xu},
  journal= {arXiv preprint arXiv:2509.09125},
  year   = {2025}
}

备注

Accepted for publication in the journal Reflecting Digital Learning. First submitted: 30 Oct 2023. The final version will be available open access via the journal