标记化教学法:探讨个人化自动写作反馈中的语言偏见
计算与语言
2026-03-16 v1 人机交互
摘要
有效的个人化反馈对学生的文字发展至关重要。尽管 LLM 驱动的工具现在承诺以规模化方式自动化此类反馈,但 LLM 并非语言中性:它们优先标准学术英语并再现社会偏见,这引发了关于"个人化"如何塑造学生所接收反馈的担忧。我们检查了四个广泛使用的 LLM(GPT-4o、GPT-3.5-turbo、Llama-3.3 70B、Llama-3.1 8B)如何响应学生属性来调整书面反馈。我们使用 600 篇来自 PERSUADE 数据集的八年级说服性散文,生成嵌入性别、种族/民族、学习需求、成就和动机提示条件下的反馈。我们通过适应 Marked Words 框架分析模型输出中的词汇变化。我们的结果揭示了即使散文内容相同,模型在假设的学生属性条件下也会产生系统性、符合刻板印象的反馈变化——即使在种族、语言或残疾标记的学生身上,反馈往往表现出积极反馈偏差和反馈剥夺偏差——过度使用赞美、实质性批评不足、对能力有限的假设。跨所有属性,模型不仅强调何为内容,还塑造了如何评判写作以及如何称呼学生的方式。我们称这些教学取向为"标记化教学法",并强调在自动化反馈工具中需要透明度和问责制。
引用
@article{arxiv.2603.12471,
title = {Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback},
author = {Mei Tan and Lena Phalen and Dorottya Demszky},
journal= {arXiv preprint arXiv:2603.12471},
year = {2026}
}
备注
To appear in LAK 2026