微型机器学习：进展与未来
机器学习
2024-04-02 v2 人工智能
计算机视觉与模式识别
摘要
微型机器学习（TinyML）是机器学习的一个新前沿。通过将深度学习模型压缩到数十亿物联网设备和微控制器（MCU）中，我们扩展了人工智能应用的范围并实现了泛在智能。然而，由于硬件限制，TinyML 面临挑战：微小的内存资源使得难以容纳为云端和移动平台设计的深度学习模型。裸机设备的编译器和推理引擎支持也很有限。因此，我们需要对算法和系统栈进行协同设计以实现 TinyML。在这篇综述中，我们将首先讨论 TinyML 的定义、挑战和应用。然后，我们调查 TinyML 和 MCU 上深度学习的最新进展。接下来，我们将介绍 MCUNet，展示如何通过系统-算法协同设计在物联网设备上实现 ImageNet 规模的 AI 应用。我们将进一步把解决方案从推理扩展到训练，介绍微型设备端训练技术。最后，我们提出该领域的未来方向。今天的大模型可能成为明天的小模型。TinyML 的范围应随时间不断演进和适应。
引用
@article{arxiv.2403.19076,
title = {Tiny Machine Learning: Progress and Futures},
author = {Ji Lin and Ligeng Zhu and Wei-Ming Chen and Wei-Chen Wang and Song Han},
journal= {arXiv preprint arXiv:2403.19076},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2206.15472