早期退出是变换器模型中一种天然能力：基于无联合优化的实证研究
计算与语言
2024-12-03 v1
摘要
大型语言模型（LLM）在 various downstream tasks 中表现卓越，但因参数数量庞大在推理速度上受到限制。早期退出（EE）旨在加快自回归解码，是一种解决这一挑战的 promising 方法。EE通过使用整个模型而非中间层生成输出，提供了可行的解决方案。然而，常规EE中使用的额外输出层和联合优化阻碍了EE在LLM中的应用。本文探讨了在无需额外输出层和联合优化的情况下实现LLM EE的可能性。我们的发现表明，EE是基于变换器模型的内在能力。虽然联合优化不赋予模型EE能力，但必须采用以改善定位最佳EE层的准确性。此外，我们的研究基于LLaMA模型揭示了从子词层面观察EE行为的模式，并探讨了基于子层的EE潜在可能性。
引用
@article{arxiv.2412.01455,
title = {Early Exit Is a Natural Capability in Transformer-based Models: An Empirical Study on Early Exit without Joint Optimization},
author = {Weiqiao Shan and Long Meng and Tong Zheng and Yingfeng Luo and Bei Li and junxin Wang and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2412.01455},
year = {2024}
}