大语言模型中的双语偏见：以台湾主权基准研究为例
计算机与社会
2026-02-09 v1
摘要
大型语言模型（LLM）正在越来越多地部署在多语言环境中，但其在政治敏感话题上是否在不同语言间保持一致性仍未得到充分研究。本文提出了一项系统性的双语基准研究，考察 17 个大型语言模型在以中文和英文提问时，对关于中华民国（台湾）主权归属问题的回答情况。我们发现显著的语言偏见——即相同模型因查询语言的不同而产生实质性不同政治立场的现象。我们的发现表明，15 个测试中的 17 个模型都表现出可测量的语言偏见，其中中文来源模型尤其严重，包括完全拒绝回答或明确传递中国共产党（CCP）叙事。值得注意的是，只有 GPT-4o Mini 在两种语言中都取得完美的 10/10 分数。我们提出了用于量化语言偏见和一致性的新指标，包括语言偏见得分（LBS）和质量调整一致性（QAC）。本基准和评估框架已开源，以促进可重复性和社区扩展。
引用
@article{arxiv.2602.06371,
title = {Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study},
author = {Ju-Chun Ko},
journal= {arXiv preprint arXiv:2602.06371},
year = {2026}
}
备注
19 pages, 4 tables, benchmark code available at https://github.com/dAAAb/ai-taiwan-sovereignty-benchmark-pro