探索大型语言模型在跨文化价值中的表现及其与训练方法的关系
计算与语言
2024-12-13 v1 人工智能
摘要
大型语言模型（LLM）与人类密切互动，因而需要深入理解人类社会的文化价值。本文探讨了开源 LLM 如何对不同国家的多样文化价值类别进行判断，以及其与模型规模、训练语料、对齐等训练方法的关系。我们的分析表明，LLM 能够类似人类对社会文化规范进行判断，但在社会制度和进步方面判断力较弱。此外，LLM 倾向于对文化价值持西方文化偏见，这可以通过在多语言语料上进行训练来改善。我们还发现，增加模型规模有助于更好地理解社会价值，但小模型可通过使用合成数据获得提升。我们的分析为 LLM 在文化价值理解方法论设计提供了有价值的见解。
引用
@article{arxiv.2412.08846,
title = {Exploring Large Language Models on Cross-Cultural Values in Connection with Training Methodology},
author = {Minsang Kim and Seungjun Baek},
journal= {arXiv preprint arXiv:2412.08846},
year = {2024}
}