PreVIous：一种面向物联网设备的视觉推理性能预测方法
计算机视觉与模式识别
2020-03-18 v2
摘要
本文提出 PreVIous，一种用于预测卷积神经网络（CNNs）在支持视觉的物联网设备上吞吐量与能耗性能的方法。此类设备通常具有稀缺的硬件资源并需在多个并发任务间共享，CNNs 往往构成巨大的计算负载。因此，根据既定应用需求为特定硬件平台选择最优 CNN 架构至关重要。然而，CNN 模型种类繁多且快速增长。为便于合理选择，我们引入一种预测框架，可在 CNN 实际部署前评估其性能。所提方法基于 PreVIousNet——一种专为构建精确的逐层性能预测模型而设计的神经网络。PreVIousNet 纳入了最先进网络架构中最常见的参数。所得推理时间与能耗预测模型已在两个不同软件框架和两个不同嵌入式平台上对七个知名 CNN 模型的综合表征进行了测试。据我们所知，这是文献中关于低功耗低成本设备上 CNN 性能预测最广泛的研究。预测值与真实测量值的平均偏差极低，介于 3% 至 10% 之间，这意味着达到了最先进的建模精度。作为额外优势，PreVIous 提供的细粒度先验分析也可被神经架构搜索引擎所利用。
引用
@article{arxiv.1912.06442,
title = {PreVIous: A Methodology for Prediction of Visual Inference Performance on IoT Devices},
author = {Delia Velasco-Montero and Jorge Fernández-Berni and Ricardo Carmona-Galán and Ángel Rodríguez-Vázquez},
journal= {arXiv preprint arXiv:1912.06442},
year = {2020}
}
备注
18 pages. 7 figures