面向多语言开域问答的地域感知基准——XLQA
计算与语言
2025-08-25 v1
摘要
大型语言模型（LLM）在开域问答（ODQA）方面取得了显著进展，但大多数评估仅关注英文并假设答案在不同语言间保持不变。这一假设忽略了影响问题理解和答案的文化和地域差异，导致多语言基准测试存在偏见。为缓解这些限制，我们提出了 XLQA，这是一个专为地域敏感性多语言 ODQA 设计的新型基准。XLQA 包含 3000 个英文种子问题扩展至八种语言，并通过严格筛选确保语义一致性，同时通过人工验证的注释区分地域不变和地域敏感案例。我们评估了五种最先进的多语言 LLM，在地域敏感问题上的表现不佳，揭示了由于缺乏地域背景知识导致的英文与其他语言之间的差距。我们提供了系统框架和可扩展方法，用于在多样化文化背景下评估多语言问答，为推动多语言 ODQA 系统的实际应用提供关键资源。我们的发现表明，训练数据分布的差异导致模型在语言能力和地域意识方面的差异。
引用
@article{arxiv.2508.16139,
title = {XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering},
author = {Keon-Woo Roh and Yeong-Joon Ju and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2508.16139},
year = {2025}
}
备注
Accepted to EMNLP 2025 main conference. 12 pages, 4 figures, 7 tables. Code is available at https://github.com/ro-ko/XLQA