EE-Tuning：一种经济且可扩展的早退大型语言模型微调方案
机器学习
2024-02-02 v1 人工智能
计算与语言
摘要
本工作介绍了 EE-Tuning，一种用于训练/微调早退大型语言模型（LLM）的轻量级且经济的解决方案。与全参数预训练的常见方法不同，EE-Tuning 通过以参数高效的方式微调额外的早退层，来增强任何预训练（可能经过微调的）标准 LLM，这需要显著更少的计算资源和训练数据。我们的 EE-Tuning 实现通过广泛的性能优化实现了出色的训练效率，并且由于其与 3D 并行的完全兼容性而具备可扩展性。系统实验的结果验证了 EE-Tuning 的有效性，证实了在有限的训练预算下可以实现有效的早退 LLM 推理。希望使早退 LLM 能够为社区所用，我们在 https://github.com/pan-x-c/EE-LLM 发布了 EE-Tuning 实现的源代码。
引用
@article{arxiv.2402.00518,
title = {EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models},
author = {Xuchen Pan and Yanxi Chen and Yaliang Li and Bolin Ding and Jingren Zhou},
journal= {arXiv preprint arXiv:2402.00518},
year = {2024}
}