从Transformer到LLM：效率考量系统综述
计算与语言
2026-01-05 v2 人工智能
摘要
基于Transformer的大型语言模型(LLM)的出现极大地增强了自然语言处理(NLP)的能力，同时也加剧了对计算资源的需求。因此，提高效率(基于计算量、能耗、碳足迹和财务成本等因素)已成为一个关键的研究领域。这促使我们对基于Transformer的LLM在NLP中的应用进行系统性的文献综述，重点关注效率问题。本综述涵盖了2011年至2025年间发表的312篇文章，系统讨论了在数据整理、模型设计、模型压缩和动态推理等方面的效率改进工作。此外，我们还考虑了模型适配策略(如预训练、微调、提示工程和检索增强生成(RAG))中的效率考量。我们对文章进行了统计分析，并在13个评估基准上对30多个知名NLP模型的效率和有效性进行了深入评估。本文为研究人员、从业者和学者提供了宝贵的见解，并探讨了NLP研究向可持续实践发展的趋势。
引用
@article{arxiv.2406.16893,
title = {From Transformers to LLMs: A Systematic Survey of Efficiency Considerations in NLP},
author = {Wazib Ansar and Saptarsi Goswami and Amlan Chakrabarti},
journal= {arXiv preprint arXiv:2406.16893},
year = {2026}
}
备注
63 pages, 5 tables and 22 figures