Emissions and Performance Trade-off Between Small and Large Language Models
计算与语言
2026-01-15 v1 人工智能
计算机与社会
机器学习
摘要
大型语言模型（LLM）的出现引发了关于其巨大碳足迹的担忧，从能源密集的训练阶段一直延续到重复推理过程。本研究探讨了使用针对特定任务进行微调的小型语言模型（SLM）作为可持续替代方案的潜力。我们present了LLMs与微调后的SLMs在自然语言处理、推理和编程等选定任务下的性能-排放权衡的比较分析。我们的结果显示，在六个选定任务中，四个任务中，SLMs在显著降低推理期间的碳排放方面保持了相当 comparable的性能。我们的发现表明，较小的模型在减轻资源密集型LLMs的环境影响方面具有可行性，从而推动了向可持续、绿色AI的发展。
引用
@article{arxiv.2601.08844,
title = {Emissions and Performance Trade-off Between Small and Large Language Models},
author = {Anandita Garg and Uma Gaba and Deepan Muthirayan and Anish Roy Chowdhury},
journal= {arXiv preprint arXiv:2601.08844},
year = {2026}
}
备注
6 pages. Accepted as a full paper to the 3rd International Conference on Foundation and Large Language Models (IEEE FLLM) 2025