本土设计偏差：研究英语本土化对语言模型性能的影响
计算与语言
2025-11-19 v3
摘要
大型语言模型（LLM）在通过用户提示获取大规模语料库中的信息和遵循指令方面表现出色。本研究探讨了 LLM 响应质量是否因用户的人口统计特征而有所不同。鉴于英语作为全球通用语言，以及其方言在不同母语者中的多样性，我们探讨了非母语英语说话者是否更常接收到较低质量甚至事实错误的 LLM 响应。我们的结果表明，当 LLM 由母语者与非母语者提示时，性能差异存在，并且在比较来自西方国家的母语者与其他人时仍然如此。此外，我们发现当模型识别或被告知用户的本土性时，会发生强大的锚定效应，这进一步恶化了与非母语者交互时的响应质量。我们的分析基于一个新收集的数据集，包含来自 124 名标注员的 12,000 多条唯一标注，其中包括他们的母语和英语水平信息。
引用
@article{arxiv.2406.17385,
title = {Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance},
author = {Manon Reusens and Philipp Borchert and Jochen De Weerdt and Bart Baesens},
journal= {arXiv preprint arXiv:2406.17385},
year = {2025}
}
备注
Accepted at ICJNLP-AACL (findings)