基于指令级的方法用于预测 MCU 上深度学习模型推理的能耗和延迟
机器学习
2026-03-05 v1
摘要
深度学习 (DL) 模型现已可在单片机 (MCU) 上运行。通过神经网络架构搜索 (NAS)，我们可以搜索满足 MCU 约束条件的 DL 模型。在各种约束条件中，模型推理的能耗和延迟是关键指标。为了预测这些指标，现有研究依赖粗糙的代理指标，如乘加运算次数 (MACs) 和模型输入参数，往往导致预测不准确或需要大量数据收集。本文提出了 InstMeter，一种利用 MCU 时钟周期来精确估计 DL 模型能耗和延迟的预测器。时钟周期是反映 MCU 操作的基本指标，直接决定能耗和延迟成本。此外，我们预测器的独特特性是其强线性特性，使其既简单又准确。我们在不同场景、不同 MCU 和软件设置下全面评估了 InstMeter。与最新研究相比，InstMeter 可将能耗和延迟预测误差分别降低约 和 ，同时所需训练数据分别减少约 和 。在 NAS 场景下，InstMeter 能充分利用能耗预算，识别出推理精度更高的最优 DL 模型。我们还通过在三个 ARM MCU (Cortex-M4、M7、M33) 和一个基于 RISC-V 的 MCU (ESP32-C3) 上进行 various 实验，评估了 InstMeter 的泛化性能，包括不同的编译选项 (-Os, -O2)、GCC 版本 (v7.3, v10.3)、应用场景 (关键词识别、图像识别)、动态电压和频率缩放、温度 (21{\deg}C, 43{\deg}C) 和软件设置 (TFLMv2.4, TFLMvCI)。我们将公开源代码及 MCU 专用基准数据集。
引用
@article{arxiv.2603.04134,
title = {InstMeter: An Instruction-Level Method to Predict Energy and Latency of DL Model Inference on MCUs},
author = {Hao Liu and Qing Wang and Marco Zuniga},
journal= {arXiv preprint arXiv:2603.04134},
year = {2026}
}
备注
17 pages