通过开放式语言生成度量偏见所面临的挑战
计算与语言
2022-05-25 v1 计算机与社会
摘要
研究者已设计出多种方法来量化预训练语言模型中蕴含的社会偏见。由于某些语言模型能够在给定一组文本提示的情况下生成连贯的续写，已有若干提示数据集被提出，用于度量社会群体之间的偏见——将语言生成作为识别偏见的一种手段。在本观点论文中，我们分析了提示集、度量指标、自动工具与采样策略的具体选择如何影响偏见结果。我们发现，通过文本补全来度量偏见的做法在不同实验设置下易于产生相互矛盾的结果。此外，我们就开放式语言生成中报告偏见给出了建议，以更全面地呈现给定语言模型所表现出的偏见。用于复现结果的代码发布于 https://github.com/feyzaakyurek/bias-textgen。
引用
@article{arxiv.2205.11601,
title = {Challenges in Measuring Bias via Open-Ended Language Generation},
author = {Afra Feyza Akyürek and Muhammed Yusuf Kocyigit and Sejin Paik and Derry Wijaya},
journal= {arXiv preprint arXiv:2205.11601},
year = {2022}
}
备注
4th Workshop on Gender Bias in Natural Language Processing. NAACL, 2022