使用检索增强生成改进辅导实践评估

一对一辅导是提升学习效果的有效教学方法，但其功效取决于辅导员的能力。新手数学辅导员通常优先考虑特定内容的指导，而忽视社会情感学习等方面。社会情感学习促进公平、包容以及与学生的培养关系，这对学生的全面发展至关重要。准确高效地评估辅导员的能力可以推动量身定制的辅导员培训项目的发展。然而，在实时辅导中评估新手辅导员的能力仍然具有挑战性，因为这通常需要专家介入。为了应对这一挑战，这项初步研究旨在利用生成式预训练 Transformer（GPT），如 GPT-3.5 和 GPT-4 模型，自动评估辅导员使用社会情感辅导策略的能力。此外，本研究还报告了在实时和大规模自动化评估中采用这些模型的经济维度与考量。当前研究考察了四种提示策略：两种基本的零样本提示策略、思维树提示以及基于检索增强生成器（RAG）的提示。结果表明，与其他评估策略相比，RAG 提示表现出更准确的性能（通过生成评估文本中的幻觉水平和正确性来评估）且经济成本更低。这些发现为开发个性化辅导员培训干预措施以提高辅导学习的教育效果提供了参考。