跨语言陷阱：自动探测多语言大语言模型的跨语言弱点
计算与语言
2025-05-27 v1
摘要
大语言模型在自然语言处理领域取得了显著进展，但其跨语言性能一致性仍是一大挑战。本文引入一种新方法，高效识别大语言模型内在的跨语言弱点。我们的方法利用束搜索和基于 LLM 的仿真生成双语问题对，暴露英文与目标语言之间的性能差异。我们构建了一个包含 16 种语言超过 6000 个双语配对的新数据集，证明了此方法在揭示即使是最先进模型也存在弱点的有效性。广泛的实验表明，我们的方法精准且高效地定位了跨语言弱点，在广泛的模型中 consistently 揭示出 50% 以上的准确率下降。此外，进一步的实验探讨了语言相似性与跨语言弱点的关系，揭示语言上相关的语言共享类似的性能模式并从受针对性后训练中受益。代码地址为 https://github.com/xzx34/Cross-Lingual-Pitfalls。
引用
@article{arxiv.2505.18673,
title = {Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models},
author = {Zixiang Xu and Yanbo Wang and Yue Huang and Xiuying Chen and Jieyu Zhao and Meng Jiang and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2505.18673},
year = {2025}
}
备注
ACL 2025. Code available at https://github.com/xzx34/Cross-Lingual-Pitfalls