提示词的代价：大型语言模型推理能源使用的剖析

在人工智能领域日益快速演变的环境下，部署大型语言模型（LLMs）正面临日益严峻的计算与环境挑战。本文引入了MELODI - 监控能源水平与数据驱动推理优化 - 一个多方面的框架，用于监控和分析LLM推理过程所消耗的能源。MELODI enables detailed observations of power consumption dynamics and facilitates the creation of a comprehensive dataset reflective of energy efficiency across varied deployment scenarios. 该数据集涵盖了广泛的LLM部署框架、多种语言模型和大规模提示数据集，使我们能够进行能源使用的比较分析。使用该数据集，我们研究了提示属性（包括长度和复杂度）与能源消耗之间的相关性。我们的发现表明，能源效率之间存在显著差异，表明AI部署领域仍有大量优化空间和可持续措施的采纳潜力。我们的贡献不仅在于MELODI框架本身，也在于这个新的数据集，该资源可以被其他研究者扩展。因此，MELODI是推动能源意识AI部署研究、引领该领域走向更可持续未来的基础工具和数据集。