MicroFlow：面向 TinyML 的高效 Rust 推理引擎
机器学习
2025-01-07 v3 人工智能
摘要
近年来，开发针对嵌入式系统的机器学习算法受到广泛关注。这尤其适用于物联网、机器人和工业应用中的裸金属设备，这些设备在内存、处理能力和存储方面受限，要求具有极强的鲁棒性。为解决这些约束，我们提出了 MicroFlow——一个基于 Rust 编程语言的开源 TinyML 框架，用于在嵌入式系统上部署神经网络（NN）。MicroFlow 的编译器驱动推理引擎结合了 Rust 的内存安全特性，使其适用于资源受限环境中的 TinyML 应用。该框架能够成功地在内存仅为 2kB 的裸金属 8 位微控制器上部署神经网络。此外，MicroFlow 在部署 NN 参考模型（如关键词检测和人脸检测）时，所需的 Flash 和 RAM 内存均低于其他最先进解决方案，同时在中等规模 NN 上实现同样准确但更快的推理，在大型 NN 上则表现相似。实验结果表明，MicroFlow 在资源极其有限的关键环境中，具有高效且适合部署 TinyML 模型的特性。
引用
@article{arxiv.2409.19432,
title = {MicroFlow: An Efficient Rust-Based Inference Engine for TinyML},
author = {Matteo Carnelos and Francesco Pasti and Nicola Bellotto},
journal= {arXiv preprint arXiv:2409.19432},
year = {2025}
}