多语种伦理偏见探析：基于统计假设检验的 MSQAD 数据集
计算与语言
2025-07-03 v2
摘要
尽管大语言模型近期取得了显著进展，研究仍强调这些系统内部存在社会偏见。本文深入探讨了大语言模型(LLM)在涉及全球性且可能敏感话题的伦理偏见的验证与比较，假设这些偏见可能源于语言特定的差异。我们引入多语种敏感问题与答案数据集(MSQAD)，从 Human Rights Watch 收集覆盖 17 个话题的新闻文章，并在多种语言中生成社会敏感问题及其对应的响应。我们对这些响应在不同语言和话题之间的偏见进行了分析，使用两种统计假设检验方法。结果显示，大多数情况下原假设被拒绝，表明源于跨语言差异的偏见确实存在。这表明 LLM 在各种语言中都普遍存在伦理偏见，值得注意的是，这些偏见即便在不同的 LLM 之间也相当普遍。通过公开我们提出的 MSQAD 数据集，我们旨在促进未来研究，专注于检验 LLM 及其变体模型中跨语言偏见。
引用
@article{arxiv.2505.19121,
title = {Delving into Multilingual Ethical Bias: The MSQAD with Statistical Hypothesis Tests for Large Language Models},
author = {Seunguk Yu and Juhwan Choi and Youngbin Kim},
journal= {arXiv preprint arXiv:2505.19121},
year = {2025}
}
备注
ACL 2025 main conference