量化对 StarCoder2 能耗与推理时间影响的探索
计算与语言
2024-11-21 v1 人工智能
软件工程
摘要
本研究考察了量化与剪枝策略，以降低代码大语言模型（LLM）推理过程中的能耗。使用 StarCoder2，我们观察到由于吞吐量降低和一定的精度损失，量化反而增加了能耗。相反，剪枝降低了能耗但损害了性能。结果突显了 LLM 模型压缩中的挑战与权衡。我们建议未来开展针对硬件优化的量化研究，以在精度损失最小的情况下提升效率。
关键词
引用
@article{arxiv.2411.12758,
title = {An exploration of the effect of quantisation on energy consumption and inference time of StarCoder2},
author = {Pepijn de Reus and Ana Oprescu and Jelle Zuidema},
journal= {arXiv preprint arXiv:2411.12758},
year = {2024}
}