TinyReptile：基于联邦元学习的 TinyML
机器学习
2023-04-12 v1 人工智能
分布式、并行与集群计算
摘要
微型机器学习（TinyML）是一个快速发展的领域，旨在使资源受限的微控制器（MCUs）也能使用机器学习（ML）。鉴于这些微小设备的普遍性，自然会问 TinyML 应用是否能从聚合彼此知识中受益。联邦学习（FL）使分散的代理能够在不共享敏感本地数据的情况下联合学习一个全局模型。然而，由于实际部署环境的复杂性以及各设备上可用数据的异质性，一个通用的全局模型可能并不适用于所有设备。此外，TinyML 硬件的部署具有显著的计算和通信限制，这是传统 ML 所无法应对的。考虑到这些挑战，我们提出了 TinyReptile，一种受元学习和在线学习启发而得的简单但高效的算法，用于在微型设备上协作学习神经网络的良好初始化，该初始化可针对新设备的数据快速适配。我们在树莓派 4 和仅含 256-KB RAM 的 Cortex-M4 MCU 上演示了 TinyReptile。在各种 TinyML 用例上的评估证实，与性能相当的基线算法相比，资源消耗和训练时间至少减少为原来的二分之一。
引用
@article{arxiv.2304.05201,
title = {TinyReptile: TinyML with Federated Meta-Learning},
author = {Haoyu Ren and Darko Anicic and Thomas A. Runkler},
journal= {arXiv preprint arXiv:2304.05201},
year = {2023}
}
备注
Accepted by The International Joint Conference on Neural Network (IJCNN) 2023