NLPositionality：刻画数据集与模型的设计偏差
计算与语言
2023-06-06 v1 计算机与社会
人机交互
摘要
NLP系统中的设计偏差，例如不同人群间的性能差异，往往源于其创造者的立场性（positionality），即由身份与背景塑造的观点和生活经验。尽管设计偏差普遍且具风险，却因其研究者、系统与数据集的立场性通常未被观测而难以量化。我们引入NLPositionality，一个用于刻画设计偏差并量化NLP数据集与模型立场性的框架。我们的框架在LabintheWild上持续从多元化志愿者参与者池收集标注，并统计量化其与数据集标签和模型预测的一致性。我们将NLPositionality应用于现有数据集与模型的两个任务——社会可接受性与仇恨言论检测。迄今为止，我们在一年多内从87个国家的1,096名标注者为600个实例收集了16,299条标注。我们发现数据集与模型主要同西方、白人、受过大学教育及较年轻人群一致。此外，某些群体，如非二元性别者与非英语母语者，因在所有任务中一致性排名最低而被数据集与模型进一步边缘化。最后，我们借鉴既有文献探讨研究者如何审视自身及其数据集与模型的立场性，为更具包容性的NLP系统打开大门。
引用
@article{arxiv.2306.01943,
title = {NLPositionality: Characterizing Design Biases of Datasets and Models},
author = {Sebastin Santy and Jenny T. Liang and Ronan Le Bras and Katharina Reinecke and Maarten Sap},
journal= {arXiv preprint arXiv:2306.01943},
year = {2023}
}
备注
ACL 2023