嵌入式系统中 TinyML 模型的实时性能基准测试（PICO：推理、CPU 与操作的性能）
软件工程
2025-09-08 v1 机器学习
摘要
本文提出了 PICO-TINYML-BENCHMARK，一个模块化且平台无关的框架，用于在资源受限的嵌入式系统上对 TinyML 模型的实时性能进行基准测试。该框架评估推理延迟、CPU 利用率、内存效率和预测稳定性等关键指标，提供了对计算权衡和特定平台优化的洞察。我们在两个广泛采用的平台 BeagleBone AI64 和 Raspberry Pi 4 上，使用真实世界数据集对三个具有代表性的 TinyML 模型——手势分类、关键词 spotting 和 MobileNet V2——进行了基准测试。结果揭示了关键的权衡：BeagleBone AI64 在特定 AI 任务中表现出一致的推理延迟，而 Raspberry Pi 4 在资源效率和成本效益方面表现优异。这些发现为优化 TinyML 部署提供了可操作的指导，弥合了嵌入式系统中理论进步与实际应用之间的差距。
引用
@article{arxiv.2509.04721,
title = {Real-Time Performance Benchmarking of TinyML Models in Embedded Systems (PICO: Performance of Inference, CPU, and Operations)},
author = {Abhishek Dey and Saurabh Srivastava and Gaurav Singh and Robert G. Pettit},
journal= {arXiv preprint arXiv:2509.04721},
year = {2025}
}