TinyML系统的设备内在线学习与语义管理

Tiny机器学习（TinyML）的最新进展使低存储占用的嵌入式设备能够实现实时设备内机器学习。尽管众人认可TinyML的潜在优势，但其实际实施存在独特挑战。本研究旨在弥合从单一TinyML模型原型开发到生产环境中可靠TinyML系统开发之间的鸿沟：（1）嵌入式设备 operating in dynamically changing conditions。现有TinyML解决方案主要关注推理，模型在强大机器上离线训练后部署为静态对象。然而，静态模型可能因输入数据分布不断变化而在实际环境中表现不佳。我们提出了在受限设备上进行在线学习，以适应最新的现场条件，对本地模型进行训练。（2）然而，当前的设备内学习方法在异构部署条件和大量设备中标签数据稀缺的应用下难以胜任。我们引入融合在线学习的联邦元学习，以增强模型的泛化性，促进快速学习。该方法通过知识共享确保分布式设备获得最佳性能。（3）此外，TinyML的关键优势是广泛采用。嵌入式设备和TinyML模型注重极端效率，导致从内存和传感器到模型架构的特征差异显著。鉴于其多样性和非标准化表示，随着TinyML系统规模扩大，管理这些资源变得具有挑战性。我们提出了面向大规模模型和设备联合管理的语义管理方案。我们通过一个基本回归示例演示了方法，然后在三个实际TinyML应用中进行评估：手写字符图像分类、关键词音频分类和智能建筑 Presence 检测，确认了方法的有效性。