LLM 是否在不被告知的情况下使用文化知识？多语言语用适应的隐式评估
计算与语言
2026-04-21 v1 社会与信息网络
摘要
许多基准测试表明大型语言模型能够回答关于文化的直接问题。我们研究了一个不同问题：它们是否会在文化仅通过情境暗示的情况下改变言语方式。我们在六十个文化相关对话情境中进行评估，涵盖五种语言，在三种条件下进行测试：中性基线 (Prompt A)、明确的文化指令 (Prompt B) 和隐式情境引导 (Prompt C)。我们对回答在 12 项语用特征上的得分，这些特征涵盖对权威的尊重、个人与集体表述方式以及不确定性管理。我们定义语用情境敏感性 (PCS) 为 Prompt A->B 转换中重现的比例，即在 Prompt A->C 下恢复的比例。在四个部署 LLM 和五种语言 (英语、德语、印地语、尼泊尔语、乌尔都语) 中，主要稳定-only PCS 平均值为 0.196 (SD = 0.113)，表明模型仅能恢复约二分之一的其在明确指令下可产生的语用转换。转换在权威相关线索处最强 (0.299)，在个人-集体表述方式处最弱 (0.120)。不确定性相关行为呈现混合态态： hedging 密度在所有五种语言中均呈现负的明确差距，表明对齐训练实际上抑制了目标行为。由于印地语和乌尔都语共享核心语法却指示不同文化社区，我们将其作为自然对照；配对分析发现无可靠的基线差异 (t = 0.96, p = 0.339, dz = 0.06)，表明模型主要响应来自语言结构而非语言所携带的文化关联。我们认为，多语言文化语用是一个明确-隐式部署问题，而不仅仅是事实知识问题。
引用
@article{arxiv.2604.17718,
title = {Do LLMs Use Cultural Knowledge Without Being Told? A Multilingual Evaluation of Implicit Pragmatic Adaptation},
author = {Mehwish Nasim and Sanjeevan Selvaganapathy and Neel Ganapathi Sabhahit and Marie Griesbach and Pranav Bhandari and Janina Lütke Stockdiek and Lennart Schäpermeier and Usman Naseem and Christian Grimme},
journal= {arXiv preprint arXiv:2604.17718},
year = {2026}
}