资源受限嵌入式设备上SLM微调的节能GPU DVFS
性能
2026-07-07 v1 机器学习
摘要
在资源受限的嵌入式GPU平台上，动态电压频率调整（DVFS）对于节能的小语言模型（SLM）微调至关重要，因为隐私和个性化驱动的适配日益需要在本地执行，并涉及在许多小批量数据上重复进行前向-反向优化，使其比单次推理更耗时和耗能。为此，1）我们首先表征了代表性的仅编码器SLM（BERT变体）和自回归解码器专用SLM（Pythia变体）在GLUE基准上的微调行为。除了表征之外，2）我们提出了一种简单而有效的基于机器学习（ML）的模型选择方法，用于在资源受限的嵌入式平台上选择能量最优的GPU DVFS设置。我们在NVIDIA Jetson AGX Orin上的结果表明，与没有显式功率上限的MAXN模式0相比，平均节能13.11%（最高可达26.73%）。
引用
@article{arxiv.2607.05933,
title = {Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices},
author = {Jurn-Gyu Park and Sanzhar Zholdybayev and Aidar Amangeldi and Ademi Zhanuzakova},
journal= {arXiv preprint arXiv:2607.05933},
year = {2026}
}