内容 vs. 形式：关于不同社会经济背景学生写作得分差距的解释——基于生成面板方法的研究

不同社会经济背景的学生在测试得分上存在持久的差距，这些差距可能导致后续教育和劳动力市场结果不平等。在许多评估中，绩效不仅反映学生所知晓的内容，还反映其有效表达知识的能力。这一区别在写作评估中尤为突出，因为得分同时奖励学生想法的实质内容以及这些想法的表达方式。结果是观察到的得分差距可能混合了内容差异与表达技能差异。因此，核心问题在于，社会经济状态（SES）得分差距中多少比例是由学生所说的内容差异驱动的，多少比例是由如何说驱动的。我们通过研究来自美国中高中学生撰写的说服性论文来回答此问题。我们引入一种新测量策略，通过利用大型语言模型生成每个论文的多个风格变体来分离内容与风格。这些改写保留原始论点，同时系统性地改变表层表达，创建一种“生成面板”，在风格上引入受控的论文内部变异。这种方法使我们能够将写作得分中的 SES 差距分解为内容和风格的贡献。我们发现 SES 差距为 0.67 分（满分 6 分），约 69% 的差距可归因于论文内容质量的差异，风格差异占差距的 26%，而不同 SES 群体中评估标准的差异占剩余 5%。这些模式在人口统计子群和写作任务之间似乎稳定。更广泛地说，我们的方法展示了如何使用大型语言模型生成受控变异以观察数据，使研究人员能够隔离并量化 otherwise 难以区分的因素的贡献。