TIFeD：一种基于直接反馈对齐的微型整数型联邦学习算法
机器学习
2024-11-26 v1 人工智能
摘要
在资源极其受限的设备上直接训练机器和深度学习模型是 tiny machine learning 领域的下一个挑战。该领域的相关文献非常有限，因为大多数解决方案仅关注设备端推理或通过在线学习进行模型适应，将训练留给外部云服务执行。一个有趣的技术视角是利用联邦学习（FL），该方法允许多个设备在分布式方式下协同训练共享模型。然而，当前最先进的联邦学习算法的主要缺点是不适合在微型设备上运行。本文首次在文献中引入 TIFeD，即一种基于直接反馈对齐（DFA）的微型整数型联邦学习算法，完全使用整数算术实现，专为在内存、计算和能源有限的设备上运行而设计。除了传统的全网络操作模式外，本文提出了一种创新的单层 TIFeD 实现，使每个设备仅训练神经网络模型的部分portion，为在多个设备上分布式学习 procedure 的新方式打开了大门。实验结果显示，所提出的解决方案是可行且有效的。所提出的 TIFeD 算法及其全网络和单层实现均作为公共仓库向科学界提供。
引用
@article{arxiv.2411.16442,
title = {TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment},
author = {Luca Colombo and Alessandro Falcetta and Manuel Roveri},
journal= {arXiv preprint arXiv:2411.16442},
year = {2024}
}