通过融合高度专业化的语言模型同时精通文本、代码与数学
计算与语言
2024-03-27 v4 人工智能
摘要
自然语言、编程代码和数学符号的底层数据分布差异巨大，这对力求在所有三个领域同时实现高性能的大型语言模型（LLM）构成了复杂挑战。要使 LLM 在特定领域达到极高的熟练度，通常需要使用相关语料库进行广泛训练，而这往往伴随着在其他领域性能的牺牲。在本文中，我们提出直接融合已经高度专业化的模型。所提出的融合框架 UltraFuser 由三个分别在语言、编码和数学上得到充分训练的独特专家组成。引入了一个令牌级门控机制来混合专家的输出。设计了一个两阶段训练策略并辅以平衡采样以确保稳定性。为有效训练融合模型，我们进一步构建了一个高质量的监督指令微调数据集 UltraChat 2，其中包含文本、代码和数学内容。该数据集包含约 300,000 条指令，覆盖了每个领域的广泛主题。实验表明，我们的模型能够同时掌握这三个关键领域。
引用
@article{arxiv.2403.08281,
title = {Mastering Text, Code and Math Simultaneously via Fusing Highly Specialized Language Models},
author = {Ning Ding and Yulin Chen and Ganqu Cui and Xingtai Lv and Weilin Zhao and Ruobing Xie and Bowen Zhou and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2403.08281},
year = {2024}
}