InstructionCP：将大语言模型转化为目标语言的快速方法
计算与语言
2024-05-31 v1 人工智能
摘要
近年来大型语言模型 (LLM) 的快速发展主要聚焦于英语,导致模型仅以英语作答。为将这些模型适应其他语言,通常会采用持续预训练 (CP),随后进行监督式微调 (SFT) 以维持对话能力。然而,CP 和 SFT可能会降低模型过滤有害内容的能力。我们提出了指令持续预训练 (InsCP),通过将指令标签整合到 CP 过程中来防止对话技能的丢失,同时获取新语言。我们的实验表明,InsCP 保留了对话和强化学习来自人类反馈 (RLHF) 的能力。在语言对齐、可靠性和知识基准测试中的经验评估确认了 InsCP 的有效性。值得注意的是，这种方法只需要 0.1 十亿高质量指令遵循数据,从而降低了资源消耗。
引用
@article{arxiv.2405.20175,
title = {InstructionCP: A fast approach to transfer Large Language Models into target language},
author = {Kuang-Ming Chen and Hung-yi Lee},
journal= {arXiv preprint arXiv:2405.20175},
year = {2024}
}
备注
10 pages, 1 figure