利用自然语言处理对文书与推荐信增强大学招生中的综合评审
计算与语言
2023-07-03 v1 人工智能
机器学习
摘要
许多高度选拔性机构的大学招生采用综合评审流程,其中申请的所有方面,包括受保护属性(例如种族、性别)、成绩、文书和推荐信都被考虑,以组成一个优秀且多样的班级。在本研究中,我们实证评估了受保护属性对于使用机器学习(ML)模型预测录取决策的影响程度,以及文本信息(例如个人文书、教师推荐)在多大程度上可以替代模型中受保护属性的缺失。使用来自美国一所选拔性院校 2022-2023 周期本科招生办公室的 14,915 名申请者的数据,我们发现从 ML 模型中排除受保护属性导致录取预测性能大幅降低。通过 TF-IDF 表示和潜在狄利克雷分配(LDA)模型纳入文本信息部分恢复了模型性能,但似乎并未提供录取类似多样性班级的完全替代。特别地,虽然文本有助于性别多样性,但 URM(少数族裔)申请者的比例受到排除受保护属性的严重影响,且从文本信息生成的新属性的纳入并未恢复这一性能损失。
引用
@article{arxiv.2306.17575,
title = {Augmenting Holistic Review in University Admission using Natural Language Processing for Essays and Recommendation Letters},
author = {Jinsook Lee and Bradon Thymes and Joyce Zhou and Thorsten Joachims and Rene F. Kizilcec},
journal= {arXiv preprint arXiv:2306.17575},
year = {2023}
}
备注
EDI in EdTech R&D (Equity, Diversity, and Inclusion in Educational Technology Research and Development) workshop at AIED Tokyo 2023 Conference