CultureLLM：将文化差异融入大型语言模型
计算与语言
2024-12-04 v3 人工智能
机器学习
摘要
据报道，由于训练数据主要来自英语语料库，大型语言模型 (LLM) 倾向于某些文化。由于多语言文化数据收集成本高昂，现有工作通过提示工程或特定文化的预训练来处理这一问题。然而，这些方法可能忽视了低资源文化的知识缺陷，且需要大量的计算资源。在本文中，我们提出了 CultureLLM，这是一种将文化差异融入 LLM 的高性价比解决方案。CultureLLM 采用世界价值观调查 (WVS) 作为种子数据，并通过提出的语义数据增强生成语义等价的训练数据。仅使用来自 WVS 的 50 个种子样本及增强数据，我们对涵盖丰富资源和低资源语言的 9 种文化微调了特定文化的 LLM 和一个统一模型 (CultureLLM-One)。在 60 个与文化相关的数据集上进行的大量实验表明，CultureLLM 显著优于各种对比模型，如 GPT-3.5（提升 8.1%）和 Gemini Pro（提升 9.5%），其性能与 GPT-4 相当甚至更好。我们的人工研究表明，生成的样本与原始样本在语义上等价，为 LLM 增强提供了有效的解决方案。代码已发布于 https://github.com/Scarelette/CultureLLM。
引用
@article{arxiv.2402.10946,
title = {CultureLLM: Incorporating Cultural Differences into Large Language Models},
author = {Cheng Li and Mengzhou Chen and Jindong Wang and Sunayana Sitaram and Xing Xie},
journal= {arXiv preprint arXiv:2402.10946},
year = {2024}
}
备注
NeurIPS 2024; Code is at https://github.com/Scarelette/CultureLLM