自然语言生成中非裔美国人语言偏见的评估
计算与语言
2023-11-14 v2
摘要
我们评估了LLM对非裔美国人语言（AAL）的理解程度，并将其与在白人主流英语（WME，美国课堂所教授的受鼓励的“标准”英语形式）上的表现进行比较。我们使用自动指标和人工判断来衡量LLM在两个任务上的表现：对应生成任务（模型给定WME生成AAL，或给定AAL生成WME）和掩码跨度预测（MSP）任务（模型预测从其输入中移除的短语）。我们的贡献包括：（1）在这两个语言生成任务上对六个预训练大语言模型的评估；（2）一个来自多种语境（社交媒体、嘻哈歌词、焦点小组和语言学访谈）的AAL文本新型数据集，并带有人工标注的WME对应文本；（3）记录了表明偏见的模型性能差距，并识别出对AAL特征缺乏理解的趋势。
引用
@article{arxiv.2305.14291,
title = {Evaluation of African American Language Bias in Natural Language Generation},
author = {Nicholas Deas and Jessi Grieser and Shana Kleiner and Desmond Patton and Elsbeth Turcan and Kathleen McKeown},
journal= {arXiv preprint arXiv:2305.14291},
year = {2023}
}
备注
EMNLP 2023 Camera-Ready