论自然语言处理中的偏见与危害度量
计算与语言
2022-10-17 v2 计算机与社会
摘要
近期研究表明，自然语言处理（NLP）技术会传播与社会人口群体相关的偏见，这些群体关联性别、种族和国籍等属性。为了创建干预措施并缓解这些偏见及相关危害，能够检测和度量此类偏见至关重要。尽管现有工作针对各种任务提出了偏见评估与缓解方法，但仍需对偏见及其所度量的具体危害进行整体性理解，并比较不同度量方法之间的差异。为弥补这一空白，本工作提出了一个实用的危害框架以及一系列从业者可用于指导偏见度量开发的问题。作为对框架和文档问题的验证，我们还展示了若干案例研究，说明 NLP 中现有的偏见度量——既包括表征中偏见的固有度量，也包括下游应用偏见的外部度量——如何与不同危害相对齐，以及我们提出的文档问题如何促进对偏见度量对象更为全面的理解。
引用
@article{arxiv.2108.03362,
title = {On Measures of Biases and Harms in NLP},
author = {Sunipa Dev and Emily Sheng and Jieyu Zhao and Aubrie Amstutz and Jiao Sun and Yu Hou and Mattie Sanseverino and Jiin Kim and Akihiro Nishi and Nanyun Peng and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2108.03362},
year = {2022}
}