SOLAR 10.7B：通过简单而有效的深度上缩放扩展大型语言模型
计算与语言
2024-04-05 v3 人工智能
机器学习
摘要
我们介绍了SOLAR 10.7B，一个拥有107亿参数的大型语言模型（LLM），在各种自然语言处理（NLP）任务中展现出优越的性能。受近期高效扩展LLM工作的启发，我们提出了一种称为深度上缩放（DUS）的LLM扩展方法，包括深度方向缩放和持续预训练。与其他使用混合专家（MoE）的LLM扩展方法不同，DUS不需要复杂的改变即可高效训练和推理。我们通过实验证明，DUS在从小型模型扩展高性能LLM方面简单而有效。基于DUS模型，我们还提出了SOLAR 10.7B-Instruct，一个针对指令跟随能力进行微调的变体，超越了Mixtral-8x7B-Instruct。SOLAR 10.7B在Apache 2.0许可下公开可用，促进了LLM领域的广泛访问和应用。
引用
@article{arxiv.2312.15166,
title = {SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling},
author = {Dahyun Kim and Chanjun Park and Sanghoon Kim and Wonsung Lee and Wonho Song and Yunsu Kim and Hyeonwoo Kim and Yungi Kim and Hyeonju Lee and Jihoo Kim and Changbae Ahn and Seonghoon Yang and Sukyung Lee and Hyunbyung Park and Gyoungjin Gim and Mikyoung Cha and Hwalsuk Lee and Sunghun Kim},
journal= {arXiv preprint arXiv:2312.15166},
year = {2024}
}
备注
accepted to NAACL 2024 Industry Track