迈向 WinoQueer：构建大语言模型反酷儿偏见基准
计算与语言
2022-07-11 v2 计算机与社会
摘要
本文展示了关于大语言模型（LLMs，如 BERT）中是否以及在多大程度上编码了对酷儿与跨性别者的偏见的探索性工作。我们还提出了一种在下游任务中减少这些偏见的方法：在由酷儿人群撰写和/或关于酷儿人群的数据上对模型进行微调。为衡量反酷儿偏见，我们引入了一个新的基准数据集 WinoQueer，其建模参照了其他偏见检测基准，但针对同性恋恐惧与跨性别恐惧偏见。我们发现 BERT 表现出显著的同性恋恐惧偏见，但通过在由 LGBTQ+ 群体成员撰写的自然语言语料上对 BERT 进行微调，该偏见可在很大程度上被缓解。
引用
@article{arxiv.2206.11484,
title = {Towards WinoQueer: Developing a Benchmark for Anti-Queer Bias in Large Language Models},
author = {Virginia K. Felkner and Ho-Chun Herbert Chang and Eugene Jang and Jonathan May},
journal= {arXiv preprint arXiv:2206.11484},
year = {2022}
}
备注
Accepted to Queer in AI Workshop @ NAACL 2022. Updated 07/07 with minor typographical fixes