理解边缘加速器上LLM推理的性能与功耗
摘要
大型语言模型（LLM）在代码生成和机器人导航等多种领域展现了显著优势。虽然LLM通常由云端数据中心提供服务，但关键任务和隐私敏感应用可能需要在本地部署开源LLM模型。鉴于LLM所需的大规模GPU显存，边缘加速器（如配备64GB共享GPU-CPU显存的Nvidia Jetson Orin AGX）是一个颇具吸引力的选择。然而，边缘加速器上LLM推理的可行性和性能尚未得到充分探索。本研究对NVIDIA Jetson Orin AGX上的LLM推理进行了详细评估，涵盖四种SOTA模型，参数规模从2.7B到32.8B不等，包括Meta Llama3.1、Microsoft-Phi2、Deepseek-R1-Qwen等。我们研究了不同批次大小、序列长度和量化级别对延迟、吞吐率和困惑度的影响，并探索了Orin AGX上的多种自定义功耗模式以进行功耗和能耗分析。我们的发现揭示了效率、推理速度与资源使用之间的权衡，例如增加序列长度会导致令牌吞吐率下降，量化会使较小LLM变慢。这些结果有助于为实际应用优化边缘加速器上的LLM服务。
引用
@article{arxiv.2506.09554,
title = {Understanding the Performance and Power of LLM Inferencing on Edge Accelerators},
author = {Mayank Arya and Yogesh Simmhan},
journal= {arXiv preprint arXiv:2506.09554},
year = {2025}
}
备注
Extended version of short paper to appear in PAISE 2025: Mayank Arya and Yogesh Simmhan, "Understanding the Performance and Power of LLM Inferencing on Edge Accelerators" in 7th Workshop on Parallel AI and Systems for the Edge, Co-located with IEEE International Parallel & Distributed Processing Symposium (IPDPS), 2025