CulturePark：提升大型语言模型中的跨文化理解
人工智能
2024-11-22 v3 计算与语言
多智能体系统
摘要
文化偏见在许多大型语言模型（LLMs）中普遍存在，这主要归因于代表不同文化的数据不足。通常，文化数据集和基准是通过从现有数据集中提取子集或从维基百科和社交媒体等平台聚合而成。然而，这些方法高度依赖真实世界数据和人类标注，使得规模化昂贵且难以实现。灵感来自社会交际中的认知理论，本文引入CulturePark，这是一个由LLM驱动的多代理文化数据收集框架。CulturePark通过LLM代理在不同文化中扮演角色，模拟跨文化人类交流，生成包容人类信念、规范和习俗的高质量跨文化对话。使用CulturePark，我们生成了41,000个文化样本，用于微调八个文化特定的LLM。在三个下游任务上评估这些模型：内容审核、文化对齐和文化教育。结果显示，在内容审核方面，我们的GPT-3.5-based模型在数据集上与GPT-4相当或更好。在文化对齐方面，我们的模型在Hofstede的VSM 13框架上超越了GPT-4。此外，在人类参与者的文化教育中，我们的模型在学习效果和用户体验方面均优于GPT-4。CulturePark是解决文化偏见并推动AI民主化的重要一步，凸显了在模型训练中文化包容性数据的关键作用。代码已发布于 https://github.com/Scarelette/CulturePark。
关键词
引用
@article{arxiv.2405.15145,
title = {CulturePark: Boosting Cross-cultural Understanding in Large Language Models},
author = {Cheng Li and Damien Teney and Linyi Yang and Qingsong Wen and Xing Xie and Jindong Wang},
journal= {arXiv preprint arXiv:2405.15145},
year = {2024}
}
备注
NeurIPS 2024; Code is released at https://github.com/Scarelette/CulturePark. arXiv admin note: substantial text overlap with arXiv:2402.10946