大语言模型中“文化倾向”的脆弱性
计算与语言
2025-10-08 v1
摘要
在最近的一项研究中，Lu、Song 和 Zhang (2025) 提出，随着大语言模型 (LLM) 的不同语言提示，显示出特定于文化的倾向。他们报告称，两个模型 (即 GPT 和 ERNIE) 在中文提示下作出更具依赖性和整体性的回应，而在英文提示下作出更独立和分析性的回应。LSZ 将这些差异归因于模型中深植的文化模式，声称提示语言本身即可引发显著的文化转变。虽然我们承认他们观察到的实证模式，但我们发现其实验、方法和解释存在问题。本文我们批判性地重新评估了 LSZ 的方法论、理论框架和结论。我们认为报告的“文化倾向”并非稳定的特性，而是特定模型和任务设计下的脆弱性 artifacts。为测试这一点，我们进行了针对性的复制实验，使用更广泛的 LLM 集合和更多的测试项目。我们的结果表明，提示语言对输出影响最小，挑战了 LSZ 声称这些模型编码出具体文化信念的主张。
引用
@article{arxiv.2510.05869,
title = {The fragility of "cultural tendencies" in LLMs},
author = {Kun Sun and Rong Wang},
journal= {arXiv preprint arXiv:2510.05869},
year = {2025}
}