DLO：用于高效垂直扩展大语言模型的动态层操作
机器学习
2024-07-17 v1 人工智能
计算与语言
摘要
本文介绍了动态层操作 (DLO)，这是一种用于垂直扩展基于变换器的大语言模型 (LLM) 的新方法，通过基于层级特征相似性的复杂路由策略来动态扩展、激活或跳过层。与专注于扩展模型宽度的传统混合专家 (MoE) 方法不同，本方法针对模型深度进行建模，解决了在各种输入样本中观察到的层级表示冗余问题。我们的框架集成在监督微调 (SFT) 阶段，无需资源密集型持续预训练 (CPT)。实验结果表明，DLO 不仅超过原始未扩展模型，还能在显著提高效率的同时，达到与密集扩展模型相当的效果。我们的工作为构建高效且强大的 LLM 提供了可行的方向。我们将在接受后发布我们的实现与模型权重。
引用
@article{arxiv.2407.11030,
title = {DLO: Dynamic Layer Operation for Efficient Vertical Scaling of LLMs},
author = {Zhen Tan and Daize Dong and Xinyu Zhao and Jie Peng and Yu Cheng and Tianlong Chen},
journal= {arXiv preprint arXiv:2407.11030},
year = {2024}
}