论边缘端 AI 推理的可持续性
机器学习
2025-08-01 v1 人工智能
性能
摘要
物联网（IoT）及其前沿的 AI 赋能应用（如自动驾驶车辆和智能工业）的普及结合了两种范式：数据驱动系统及其在边缘端的部署。通常，边缘设备执行推理以支持对延迟敏感的应用。除了这些资源受限的边缘设备的性能外，其能耗也是采用和部署边缘应用的关键因素。此类设备包括 Raspberry Pi (RPi)、Intel Neural Compute Stick (INCS)、NVIDIA Jetson nano (NJn) 和 Google Coral USB (GCU)。尽管它们已被用于边缘端 AI 推理部署，但目前尚无关于其性能和能耗的研究，以供在设备和模型选择时做出明智决策来满足应用需求。本研究通过严格表征传统模型、神经网络和大语言模型在上述边缘设备上的性能来填补这一空白。具体而言，我们分析了模型 F1 分数、推理时间、推理功耗和内存使用之间的权衡。硬件与框架优化以及 AI 模型的外部参数调优，可以在模型性能与资源使用之间取得平衡，从而实现实用的边缘 AI 部署。
引用
@article{arxiv.2507.23093,
title = {On the Sustainability of AI Inferences in the Edge},
author = {Ghazal Sobhani and Md. Monzurul Amin Ifath and Tushar Sharma and Israat Haque},
journal= {arXiv preprint arXiv:2507.23093},
year = {2025}
}
备注
14 pages, 8 figures, 6 tables, in preparation for journal submission