SeeGULL：利用生成模型构建具有广泛地理文化覆盖的刻板印象基准
计算与语言
2023-05-22 v1 计算机与社会
摘要
刻板印象基准数据集对于检测并缓解 NLP 模型中关于人群的社会刻板印象至关重要。然而，现有数据集在规模与覆盖面上有限，且主要局限于西方社会盛行的刻板印象。随着语言技术在全球的普及，这一问题尤为突出。为弥补这一缺口，我们提出 SeeGULL，一个广覆盖的刻板印象数据集，它利用 PaLM、GPT-3 等大型语言模型的生成能力，并借助全球多样化的标注者群体来验证这些刻板印象在社会中的普遍性。SeeGULL 为英文数据集，包含关于横跨 6 大洲 8 个不同地缘政治区域共 178 个国家的身份群体的刻板印象，以及美国与印度国内的州级身份。我们还为不同刻板印象提供了细粒度的冒犯性评分，并展示了其全球差异。此外，我们包含了对同一群体由居住在该地区的标注者与北美标注者给出的比较性标注，并表明区域内群体刻板印象不同于北美盛行的那些。内容警告：本文包含可能具冒犯性的刻板印象示例。
引用
@article{arxiv.2305.11840,
title = {SeeGULL: A Stereotype Benchmark with Broad Geo-Cultural Coverage Leveraging Generative Models},
author = {Akshita Jha and Aida Davani and Chandan K. Reddy and Shachi Dave and Vinodkumar Prabhakaran and Sunipa Dev},
journal= {arXiv preprint arXiv:2305.11840},
year = {2023}
}