MEMA 运行时框架：面向微控制器 TinyML 的最小化外部存储器访问
机器学习
2023-04-13 v1 硬件体系结构
性能
编程语言
摘要
我们提出了 MEMA 框架，用于轻松快速地推导高效推理运行时，以最小化 TinyML 系统上矩阵乘法的外部存储器访问。该框架考虑硬件资源约束与问题规模，通过解析方式确定最小化存储器访问的优化调度与内核。MEMA 解决了当前实践中的一个已知问题，即最优调度往往只能通过耗时且启发式的庞大调度空间搜索来获得。我们将源自 MEMA 的运行时与基于 ARM 的 TinyML 系统上现有最先进库的性能进行比较。例如，在 ARM Cortex-M4 上的神经网络基准测试中，我们相比 CMSIS-NN 实现了高达 1.8 倍的加速与 44% 的能耗降低。
引用
@article{arxiv.2304.05544,
title = {MEMA Runtime Framework: Minimizing External Memory Accesses for TinyML on Microcontrollers},
author = {Andrew Sabot and Vikas Natesh and H. T. Kung and Wei-Te Ting},
journal= {arXiv preprint arXiv:2304.05544},
year = {2023}
}
备注
Accepted as a full paper by the TinyML Research Symposium 2023