面向可持续 GenAI：基于生成指令的碳友好型大语言模型推理
分布式、并行与集群计算
2024-03-20 v1 人工智能
计算与语言
机器学习
摘要
生成式人工智能 (GenAI) 的快速发展涵盖多个领域，带来显著的环境关注，尤其是其云端和高性能计算 (HPC) 基础设施的碳排放问题。本文提出了 Sprout 框架，以减少生成式大语言模型 (LLM) 推理服务的碳足迹。Sprout 利用“生成指令”这一创新概念引导自回归生成过程，从而提升碳效率。我们的方法在生态可持续性与高质量生成结果之间进行细致的权衡。通过针对用户提示采用指令优化器进行战略性指令分配，以及独创的离线质量评估器，Sprout 在实际评估中使用 Llama2 LLM 和全球电网数据，实现了碳排放降低超过40%。本研究标志着将人工智能技术与可持续实践相结合的关键一步，凸显了在快速扩张的生成式人工智能领域减轻环境影响的潜力。
引用
@article{arxiv.2403.12900,
title = {Toward Sustainable GenAI using Generation Directives for Carbon-Friendly Large Language Model Inference},
author = {Baolin Li and Yankai Jiang and Vijay Gadepally and Devesh Tiwari},
journal= {arXiv preprint arXiv:2403.12900},
year = {2024}
}