度量真正重要的指标：面向TinyML的神经网络优化
机器学习
2021-04-22 v1
摘要
随着廉价计算与存储资源的激增，神经网络（NNs）在架构与计算复杂度上经历了前所未有的增长。将NNs引入资源受限设备可实现高性价比部署、广泛可用性以及敏感数据的保护。本工作应对将机器学习引入MCU的挑战，重点关注普遍存在的ARM Cortex-M架构。对于TensorFlow Lite Micro等前沿框架，优化方法、软件框架与MCU硬件架构对推理延迟和能耗等关键性能指标的具体影响与权衡此前尚未被深入研究。我们发现，测量可感知指标（即用户所体验到的性能）的实证调研不可或缺，因为专用指令与层类型的影响可能十分微妙。为此，我们提出一种实现感知的设计，作为经济高效的验证与基准测试方法。借助我们开发的工具链，展示了如何通过对NNs针对目标应用场景进行系统优化，来改进资源受限设备上现有的NN部署。
引用
@article{arxiv.2104.10645,
title = {Measuring what Really Matters: Optimizing Neural Networks for TinyML},
author = {Lennart Heim and Andreas Biri and Zhongnan Qu and Lothar Thiele},
journal= {arXiv preprint arXiv:2104.10645},
year = {2021}
}