HERB：预训练语言模型中分层区域偏见的度量
计算与语言
2022-11-08 v1
摘要
公平性已成为自然语言处理（NLP）中的热门话题，其旨在解决针对性别、宗教等特定社会群体的偏见。然而，语言模型（LM）中的区域偏见这一长期存在的全球性歧视问题仍未被探索。本文通过分析被广泛用于 NLP 任务的预训练语言模型所学到的区域偏见，弥补了这一空白。除验证 LM 中区域偏见的存在外，我们发现区域群体上的偏见会受到群体地理聚类现象的强烈影响。据此，我们提出一种利用子区域聚类信息来量化预训练 LM 中偏见的分层区域偏见评估方法（HiErarchical Regional Bias, HERB）。实验表明，我们的分层度量能有效评估涉及全面话题的区域偏见，并度量可传播至下游任务的潜在区域偏见。我们的代码发布于 https://github.com/Bernard-Yang/HERB。
引用
@article{arxiv.2211.02882,
title = {HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models},
author = {Yizhi Li and Ge Zhang and Bohao Yang and Chenghua Lin and Shi Wang and Anton Ragni and Jie Fu},
journal= {arXiv preprint arXiv:2211.02882},
year = {2022}
}
备注
Accepted at AACL 2022 as Long Findings