面向微控制器的设备内视觉训练、部署与推理
摘要
本文提出了一个完整的、面向设备的视觉机器学习管道，包括数据获取、使用Adam优化进行两层CNN训练以及实时推理，全部在成本为15-40美元的微控制器类设备上执行。与需要外部基础设施且使计算管道对实践者不透明的云端工作流程不同，本系统在约1750行可读的C++代码中实现了核心机器学习生命周期的每一步，无需外部机器学习依赖，Arduino IDE下编译时间不到1分钟。在Seeed Studio ESP32-S3 XIAO ML Kit(8MB PSRAM)上运行，该固件实现了约9分钟的三类64x64图像分类训练，实时推理达到6.3 FPS。关键贡献包括：正确的批量级梯度累积；推理用的预计算缩放查找表；无SD卡的烧录式部署双格式权重导出；引导时自动解析的三级权重优先级系统(SD二进制>烧录头>He初始化)；单常量网络重新配置接口；以及适用于微控制器约束的PSRAM感知内存管理。所有源代码和参考数据集均在MIT许可下发布于https://github.com/webmcu-ai/on-device-vision-ai
引用
@article{arxiv.2604.23012,
title = {On-Device Vision Training, Deployment, and Inference on a Thumb-Sized Microcontroller},
author = {Jeremy Ellis},
journal= {arXiv preprint arXiv:2604.23012},
year = {2026}
}
备注
25 pages; 3 figures; 3 tables. Code and datasets available at https://github.com/webmcu-ai/on-device-vision-ai. Paper 1 of the webmcu-ai series. Implements end-to-end on-device CNN training and inference on a thumb-sized microcontroller (ESP32-S3) the XIAO ML Kit in ~1,750 lines of single-file C++ without external ML dependencies