刻画偏见：大型语言模型在简体中文与繁体中文上的基准测试
计算与语言
2025-05-29 v1 计算机与社会
摘要
尽管大型语言模型（LLM）在简体中文和繁体中文上的能力已有研究，但目前尚不清楚 LLM 在这两种书面中文变体下被提示时是否表现出性能差异。这一理解至关重要，因为 LLM 响应质量的差异可能会因忽视简体中文与繁体中文背后不同的文化语境而加剧表征危害，并可能在教育或招聘等领域中加剧 LLM 辅助决策的下游危害。为了调查潜在的 LLM 性能差异，我们设计了两个反映真实世界场景的基准任务：地区用词选择（提示 LLM 对一个描述的物品进行命名，该物品在中国大陆和台湾有不同的称呼）和地区姓名选择（提示 LLM 从简体中文和繁体中文的姓名列表中选择录用对象）。针对这两个任务，我们审查了 11 个领先的商业 LLM 服务和开源模型的性能——涵盖主要在英文、简体中文或繁体中文上训练的模型。我们的分析表明，LLM 响应中的偏见取决于任务和提示语言：尽管大多数 LLM 在地区用词选择任务中不成比例地偏好简体中文响应，但令人惊讶的是，它们在地区姓名选择任务中却偏好繁体中文姓名。我们发现这些差异可能源于训练数据表示、书写字符偏好以及简体中文和繁体中文分词上的差异。这些发现凸显了进一步分析 LLM 偏见的必要性；为此，我们提供了一个开源的基准数据集，以促进对未来 LLM 在中文变体上行为的可复现评估（https://github.com/brucelyu17/SC-TC-Bench）。
引用
@article{arxiv.2505.22645,
title = {Characterizing Bias: Benchmarking Large Language Models in Simplified versus Traditional Chinese},
author = {Hanjia Lyu and Jiebo Luo and Jian Kang and Allison Koenecke},
journal= {arXiv preprint arXiv:2505.22645},
year = {2025}
}
备注
To appear in the 2025 ACM Conference on Fairness, Accountability, and Transparency (FAccT '25)