使用 MicroTVM 将机器学习模型部署至边缘设备上的预编译运行时
机器学习
2023-04-17 v2
摘要
过去几年中，越来越多的 AI 应用被部署到边缘设备。然而，数据科学家使用 PyTorch 或 TensorFlow 等机器学习框架训练的模型无法在边缘无缝执行。本文开发了一个端到端代码生成器，利用 MicroTVM（一个面向裸机设备推理的机器学习编译器框架扩展）将预训练模型解析为后端的 C 源库。分析表明，特定的计算密集型算子可通过通用模块化加速器（UMA）接口轻松卸载至专用加速器，其余则在 CPU 核上处理。通过使用自动生成的预编译（ahead-of-time）C 运行时，我们在 ARM Cortex M4F 核上进行了手势识别实验。
引用
@article{arxiv.2304.04842,
title = {Deploying Machine Learning Models to Ahead-of-Time Runtime on Edge Using MicroTVM},
author = {Chen Liu and Matthias Jobst and Liyuan Guo and Xinyue Shi and Johannes Partzsch and Christian Mayr},
journal= {arXiv preprint arXiv:2304.04842},
year = {2023}
}
备注
CODAI 2022 Workshop - Embedded System Week (ESWeek)