AOLO：面向低碳的无线大语言模型服务的分析与优化
系统与控制
2025-03-07 v1 机器学习
系统与控制
摘要
大语言模型（LLM）的最新进展推动了其在各领域的广泛采用和大规模部署。然而，其环境影响，特别是在推理过程中，由于大量能耗和碳足迹，已成为日益令人担忧的问题。现有研究仅关注推理计算，忽视了网络辅助LLM服务系统中碳足迹的分析和优化。为填补这一空白，我们提出了AOLO，一个面向低碳的无线LLM服务分析与优化框架。AOLO引入了一个全面的碳足迹模型，用于量化整个LLM服务链中的温室气体排放，包括计算推理和无线通信。此外，我们构建了一个旨在最小化总体碳足迹的优化问题，通过联合优化推理输出和传输功率，在保证体验质量和系统性能约束的条件下求解。为实现这一联合优化，我们利用脉冲神经网络（SNN）的能效，采用SNN作为Actor网络，并提出了一种面向低碳的优化算法，即基于SNN的深度强化学习（SDRL）。全面的仿真表明，SDRL算法显著降低了总体碳足迹，相比基准软Actor-Critic实现了18.77%的降低，展示了其实现更可持续LLM推理服务的潜力。
引用
@article{arxiv.2503.04418,
title = {AOLO: Analysis and Optimization For Low-Carbon Oriented Wireless Large Language Model Services},
author = {Xiaoqi Wang and Hongyang Du and Yuehong Gao and Dong In Kim},
journal= {arXiv preprint arXiv:2503.04418},
year = {2025}
}