循环闭环：通过语言模型模拟学生修订来学习生成写作反馈
计算与语言
2024-10-11 v1 人工智能
机器学习
摘要
提供反馈被广泛认为是细化学生写作技能的关键。近期语言模型(LM)的进展使得自动生成与人类指定属性一致且可操作的反馈成为可能。然而，这些模型生成的反馈是否真正有效提升学生的修订质量仍不清楚。此外，由于缺乏关于可导致改进修订绩效的特定属性的共识，使用精确指令引导LM生成反馈并非易事。为此，我们提出PROF，即通过学习LM模拟的学生修订来产生反馈。PROF旨在通过直接最大化学生整体修订绩效（由LM模拟）来迭代优化反馈生成器。我们聚焦于经济学作文任务，经实验检验了PROF的有效性。我们观察到，该方法不仅在提升学生写作质量方面优于多种基线方法，还显示出增强的教育学价值，尽管其并未专门针对这一方面进行训练。
引用
@article{arxiv.2410.08058,
title = {Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions},
author = {Inderjeet Nair and Jiaye Tan and Xiaotian Su and Anne Gere and Xu Wang and Lu Wang},
journal= {arXiv preprint arXiv:2410.08058},
year = {2024}
}
备注
Accepted to EMNLP 2024