揭示深度学习中的能效：跨边缘设备的测量、预测与评分
网络与互联网体系结构
2024-06-11 v2 人工智能
机器学习
性能
摘要
如今，深度学习优化主要由追求高推理精度和降低延迟的研究驱动。然而，能效方面常被忽视，这可能是由于该领域缺乏可持续性思维以及缺少整体能耗数据集。本文开展了一项三方面研究，包括能量测量、预测和效率评分，旨在促进深度学习在各种边缘设备上功耗与能耗的透明度。首先，我们提出了一项详尽的、首创的测量研究，揭示了设备上深度学习的能耗特征。该研究创建了三个覆盖广泛核函数、最先进 DNN 模型和流行 AI 应用的边缘设备能耗数据集。其次，我们基于核级能耗数据集设计并实现了首个面向边缘设备的核级能耗预测器。评估结果表明，我们的预测器能对未见过的 DNN 模型提供一致且准确的能耗估计。最后，我们引入了两个评分指标 PCS 和 IECS，用于将边缘设备复杂的功耗与能耗数据转化为终端用户易于理解的形式。我们希望我们的工作能帮助终端用户和研究界将思维转向边缘计算中的可持续性，这一理念驱动了我们的研究。数据、代码和更多最新信息见 https://amai-gsu.github.io/DeepEn2023。
引用
@article{arxiv.2310.18329,
title = {Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices},
author = {Xiaolong Tu and Anik Mallik and Dawei Chen and Kyungtae Han and Onur Altintas and Haoxin Wang and Jiang Xie},
journal= {arXiv preprint arXiv:2310.18329},
year = {2024}
}
备注
This paper has been accepted by ACM/IEEE Symposium on Edge Computing (SEC '23)