适用于特定文化语境的大型英语语言模型的适应方法论
计算与语言
2024-06-28 v2 人工智能
摘要
大型语言模型 (LLM) 的快速发展已成为人工智能领域的显著趋势。然而，当前最先进的 LLM 主要基于英语，直用于特定文化领域的任务时，会存在领域特定知识欠缺以及因文化价值差异导致的误解问题。为此，我们提出了一种针对特定文化语境下大型模型的快速适应方法，该方法利用基于特定文化知识和安全价值数据的指令微调。以中文为特定文化语境，采用 LLaMA3-8B 作为实验性英语 LLM，评估结果表明，适应后的 LLM 在领域特定知识和对安全价值适应性方面显著提升，同时保持原有的专业优势。
引用
@article{arxiv.2406.18192,
title = {Methodology of Adapting Large English Language Models for Specific Cultural Contexts},
author = {Wenjing Zhang and Siqi Xiao and Xuejiao Lei and Ning Wang and Huazheng Zhang and Meijuan An and Bikun Yang and Zhaoxiang Liu and Kai Wang and Shiguo Lian},
journal= {arXiv preprint arXiv:2406.18192},
year = {2024}
}
备注
11 pages, 2 figures