ChatGPT 对英语学习者写作连贯与衔接反馈的评估
计算与语言
2023-10-11 v1 人工智能
摘要
自 2022 年 11 月发布以来，ChatGPT 对教育产生了变革性影响，学生用它辅助完成作业，教师积极将其用于教学实践。这包括将 ChatGPT 作为写作教师的工具，对学生的作文进行评分并生成反馈。在本研究中，我们评估了 ChatGPT 针对英语学习者（ELLs）学生所写议论文的连贯与衔接生成的反馈质量。我们选取了 50 篇议论文，并使用 ELLIPSE 量规生成关于连贯与衔接的反馈。在反馈评估中，我们采用两步法：首先，根据功能（如正向强化、问题陈述）将反馈中的每句话分类为子类型；随后，依据这些类型评估其准确性与可用性。对反馈类型的分析及准确性与可用性的评估均显示，多数反馈句子高度抽象和泛化，未能提供具体改进建议。其在检测重复观点、衔接手段使用不当等主要问题时，依赖于表层语言特征且常判断错误。总之，未经针对反馈生成任务的专门训练的 ChatGPT，无法为 ELL 学生的连贯与衔接提供有效反馈。
引用
@article{arxiv.2310.06505,
title = {Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion},
author = {Su-Youn Yoon and Eva Miszoglad and Lisa R. Pierce},
journal= {arXiv preprint arXiv:2310.06505},
year = {2023}
}
备注
24 pages, 1 figures