语言模型将语言与文化相纠缠
机器学习
2026-01-23 v1 计算与语言
摘要
用户不应因其用于与 LLMs 交互的语言而受到系统性不利；即无论使用何种语言，跨语言的用户应获得相似质量的响应。在这项工作中，我们基于对 WildChat 数据集的分析创建了一组现实世界的开放式问题，并用它来评估响应是否因语言而异，特别是答案质量是否取决于用于查询模型的语言。我们还研究了语言和文化在 LLMs 中是如何纠缠的，使得语言的选择会改变响应中使用的文化信息和上下文，方法是使用 LLM-as-a-Judge 来识别响应中存在的文化上下文。为了进一步研究这一点，我们在跨多种语言的 CulturalBench 基准的翻译子集上评估了 LLMs。我们的评估表明，LLMs 持续为低资源语言中的开放式问题提供较低质量的答案。我们发现语言显著影响模型使用的文化上下文。这种上下文差异影响了下游答案的质量。
引用
@article{arxiv.2601.15337,
title = {Language Models Entangle Language and Culture},
author = {Shourya Jain and Paras Chopra},
journal= {arXiv preprint arXiv:2601.15337},
year = {2026}
}
备注
Accepted at LM4UC Workshop at AAAI'26, Submitted to ACL 2026. 17 pages, 7 figures