Megalodon：具有无限上下文长度的高效LLM预训练与推理

Xuezhe Ma; Xiaomeng Yang; Wenhan Xiong; Beidi Chen; Lili Yu; Hao Zhang; Jonathan May; Luke Zettlemoyer; Omer Levy; Chunting Zhou

Megalodon：具有无限上下文长度的高效LLM预训练与推理

机器学习 2024-04-17 v2 计算与语言

作者: Xuezhe Ma , Xiaomeng Yang , Wenhan Xiong , Beidi Chen , Lili Yu , Hao Zhang , Jonathan May , Luke Zettlemoyer , Omer Levy , Chunting Zhou

在 arXiv 上查看 ↗ PDF ↗

摘要

Transformer的二次复杂度和弱长度外推限制了其扩展到长序列的能力，虽然存在次二次解决方案如线性注意力和状态空间模型，但它们在预训练效率和下游任务准确性上经验上不如Transformer。我们介绍了Megalodon，一种用于高效序列建模且上下文长度无限的神经架构。Megalodon继承了Mega的架构（带门控注意力的指数移动平均），并进一步引入了多个技术组件以提高其能力和稳定性，包括复数指数移动平均（CEMA）、时间步归一化层、归一化注意力机制和带两跳残差配置的预归一化。在与Llama2的受控头对头比较中，Megalodon在70亿参数和2万亿训练token的规模上实现了比Transformer更好的效率。Megalodon达到了1.70的训练损失，介于Llama2-7B（1.75）和13B（1.67）之间。代码：https://github.com/XuezheMax/megalodon

关键词

Megalodon 高效LLM预训练无限上下文长度序列建模复数指数移动平均归一化注意力 Llama2对比

引用

@article{arxiv.2404.08801,
  title  = {Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length},
  author = {Xuezhe Ma and Xiaomeng Yang and Wenhan Xiong and Beidi Chen and Lili Yu and Hao Zhang and Jonathan May and Luke Zettlemoyer and Omer Levy and Chunting Zhou},
  journal= {arXiv preprint arXiv:2404.08801},
  year   = {2024}
}

备注

9 pages, 6 figures and 8 tables

Megalodon：具有无限上下文长度的高效LLM预训练与推理

摘要

关键词

引用

备注

相关论文