神经对话辅导的机遇与挑战

设计对话导师一直具有挑战性，因为这涉及对人类导师所采用的多样且复杂的教学策略进行建模。尽管近期使用大语言模型（LLMs）的神经对话系统取得了显著进展，且可用对话语料库有所增长，但对话辅导在很大程度上未受这些进展影响。本文中，我们在两个用于语言学习的对话辅导数据集上严格分析多种生成式语言模型，结合自动与人工评估，以理解这些进展带来的新机遇以及我们必须克服以构建可在真实教育环境中使用之模型的挑战。我们发现，尽管当前方法能在所教概念数与可能教师策略较少的受限学习场景中建模辅导，其在较少受限场景中表现糟糕。我们的人工质量评估显示，模型与真值标注在公平辅导（衡量学生学习机会及对话参与度）方面均表现低下。为理解我们的模型在真实辅导环境中的行为，我们使用专家标注者开展用户研究，发现在 45% 的对话中存在显著大量的模型推理错误。最后，我们结合发现勾勒未来工作。