大语言模型中局部文化知识的保存与可控性
计算与语言
2025-04-15 v1 人工智能
摘要
正如人类在说新语言时会显示出受本土语言影响的语言模式一样，大语言模型（LLM）在生成其他语言时常常默认使用以英语为中心的响应。尽管如此，我们观察到本地文化信息仍保存在模型内部，并且可以轻易激活以实现文化定制。我们首先演示了通过在提示词中显式提供文化上下文，显著提高了模型生成文化局部化响应的能力。我们将模型性能在是否提供显式文化上下文之间的差异称为显式-隐式局地化鸿沟，表明尽管文化知识存在于 LLM 中，但若不提供文化上下文，可能不会自然地在多语言交互中浮现。在显式提示词带来的好处之后，然而，答案的多样性降低，倾向于刻板印象。其次，我们识别出一种显式的文化定制向量，在我们探索的所有非英语语言中均保持 conserved，这使 LLM 能够从合成的英语文化世界模型引导到每个非英语文化世界。通过引导的响应保留了隐式提示词的多样性，并将刻板印象大幅降低，显著提升了定制潜力。我们讨论了显式文化定制对理解 LLM 中备选文化世界模型的保存情况，以及其在翻译、文化定制以及通过软控制实现显式隐式的可能性方面的意义。
引用
@article{arxiv.2504.10191,
title = {Localized Cultural Knowledge is Conserved and Controllable in Large Language Models},
author = {Veniamin Veselovsky and Berke Argin and Benedikt Stroebl and Chris Wendler and Robert West and James Evans and Thomas L. Griffiths and Arvind Narayanan},
journal= {arXiv preprint arXiv:2504.10191},
year = {2025}
}