中文

Tutor CoPilot:面向规模化实时专家赋能的人机协作方法

计算与语言 2025-01-28 v2

摘要

生成式AI,特别是语言模型(LMs),有望在具有社会影响的数据驱动领域中实现变革,尤其是在专家资源有限的领域。例如,在教育领域,培训具备专家指导的新手教师对于提高教学效果至关重要,但成本高昂,制约了大规模提升教育质量。该挑战不成比例地影响来自资源不足地区的学生,这些学生从高质量教育中获益最大。我们引入Tutor CoPilot,这是一种新型的人机协作方法,利用专家思维模型,为教师提供类似专家的指导。本研究是首个在实际辅导中进行的人机系统随机对照试验,涉及900名教师和1800名来自历史资源不足社区的K-12学生。遵循预先登记的分析计划,我们发现使用Tutor CoPilot的教师所指导的学生更有可能掌握知识(p<0.01)。值得注意的是,教学水平较低的教师所指导的学生受益最大,掌握率提升了9个百分点。我们发现Tutor CoPilot仅需每位教师年费20美元。我们分析了55万条以上消息,通过分类器识别教学策略,发现使用Tutor CoPilot的教师更倾向于采用高质量策略来促进学生理解(例如提出引导性问题),也更不倾向于直接给出答案。教师访谈强调,Tutor CoPilot的指导帮助教师响应学生需求,但也指出Tutor CoPilot存在问题,如生成的建议不符合年级水平。总体而言,本研究表明人机系统如何在实际场景中规模化专家赋能,弥合技能差距,创造一个高质量教育可及于所有学生的未来。

关键词

引用

@article{arxiv.2410.03017,
  title  = {Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise},
  author = {Rose E. Wang and Ana T. Ribeiro and Carly D. Robinson and Susanna Loeb and Dora Demszky},
  journal= {arXiv preprint arXiv:2410.03017},
  year   = {2025}
}

备注

Our pre-registration for this randomized controlled trial can be found here: https://osf.io/8d6ha. Demonstration code and video tutorials on how to develop your own Tutor CoPilot at this link: https://github.com/rosewang2008/tutor-copilot/. * The last two authors provided equal advising