基于数据蒸馏与模型规模自适应的 TinyML 设备上连续增量学习方法
机器学习
2024-09-12 v1 人工智能
摘要
本文提出一种针对 Tiny Machine Learning (TinyML) 的增量学习新算法，针对低性能和高能效的嵌入式设备进行优化。TinyML 是一个在资源受限设备（如微控制器）上部署机器学习模型的新兴领域，使能在传统机器学习模型不可行的环境中实现语音识别、异常检测、预测性维护和传感器数据处理等智能应用。该算法通过知识蒸馏创建小型蒸馆数据集，以解决灾难性遗忘挑战。该方法的新颖之处在于模型规模可动态调整，以适应任务需求。这为资源受限环境中的增量学习提供了解决方案，其中模型规模和计算效率都是关键因素。结果表明，所提出的算法为嵌入式设备上的 TinyML 增量学习提供了有前景的方案。该算法在包括 CIFAR10、MNIST、CORE50、HAR、Speech Commands 在内的五个数据集上进行了测试。结果表明，尽管仅使用了较大固定模型的 43% 的浮点运算量 (FLOPs)，该算法仅产生 1% 的精度损失。此外，所提出的方法具有内存高效优势。而当前最先进的增量学习通常非常依赖内存，该方法仅需原始数据集的 1%。
引用
@article{arxiv.2409.07114,
title = {A Continual and Incremental Learning Approach for TinyML On-device Training Using Dataset Distillation and Model Size Adaption},
author = {Marcus Rüb and Philipp Tuchel and Axel Sikora and Daniel Mueller-Gritschneder},
journal= {arXiv preprint arXiv:2409.07114},
year = {2024}
}