TinyMetaFed：面向 TinyML 的高效联邦元学习
机器学习
2023-09-29 v3 人工智能
分布式、并行与集群计算
摘要
Tiny Machine Learning（TinyML）领域在微控制器等低占用设备上的机器学习民主化方面取得了实质性进展。这些微型设备的普及引发了一个问题：聚合它们的知识是否能使 TinyML 应用受益。联邦元学习是对此问题的一个有前景的答案，因为它解决了现实世界中设备间标注数据稀缺和异构数据分布的问题。然而，部署 TinyML 硬件面临独特的资源约束，由于能耗、隐私和通信限制，现有方法难以实用。我们引入了 TinyMetaFed，一个适用于 TinyML 的模型无关元学习框架。TinyMetaFed 促进神经网络初始化的协同训练，该初始化可在新设备上快速微调。它通过局部重建和部分 Top-P% 选择性通信提供通信节省和隐私保护，通过在线学习实现计算高效，并通过少样本学习对客户端异构性具有鲁棒性。在三个 TinyML 用例上的评估表明，TinyMetaFed 能显著降低能耗和通信开销，加速收敛并稳定训练过程。
引用
@article{arxiv.2307.06822,
title = {TinyMetaFed: Efficient Federated Meta-Learning for TinyML},
author = {Haoyu Ren and Xue Li and Darko Anicic and Thomas A. Runkler},
journal= {arXiv preprint arXiv:2307.06822},
year = {2023}
}
备注
Accepted by the ECML PKDD 2023 workshop track: Simplification, Compression, Efficiency, and Frugality for Artificial Intelligence (SCEFA)