ChatGPT中的语言偏见：语言模型强化方言歧视
计算与语言
2024-09-18 v3 计算机与社会
摘要
我们开展了一项关于ChatGPT所表现出的语言偏见的大规模研究，涵盖了英语的十种方言（标准美式英语、标准英式英语以及来自世界各地的八种广泛使用的非“标准”变体）。我们使用每种方言母语者的文本提示GPT-3.5 Turbo和GPT-4，并通过详细的语言特征标注和母语者评估来分析其回应。我们发现，这些模型默认使用英语的“标准”变体；基于母语者的评估，我们还发现模型对非“标准”变体的回应持续表现出一系列问题：刻板印象（比“标准”变体严重19%）、贬低性内容（严重25%）、理解不足（严重9%）和居高临下的回应（严重15%）。我们还发现，如果要求这些模型模仿非“标准”变体提示的写作风格，它们生成的文本对输入的理解程度较低，并且特别容易产生刻板印象。GPT-4在理解力、热情和友好度方面较GPT-3.5有所改进，但刻板印象也显著增加（+18%）。结果表明，GPT-3.5 Turbo和GPT-4可能会延续对非“标准”变体使用者的语言歧视。
引用
@article{arxiv.2406.08818,
title = {Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination},
author = {Eve Fleisig and Genevieve Smith and Madeline Bossi and Ishita Rustagi and Xavier Yin and Dan Klein},
journal= {arXiv preprint arXiv:2406.08818},
year = {2024}
}