利用基础模型在资源受限的边缘网络中高效进行联邦学习
分布式、并行与集群计算
2024-09-17 v1 机器学习
摘要
最近，预训练的基础模型 (Foundation Models, FMs) 已与联邦学习 (FL) 结合用于改进下游任务的训练，同时保持隐私。然而，在资源受限的物联网 (IoT) 设备上部署 FMs 仍未得到充分探索。本文提出了一种新框架，即将知识蒸馏到提示生成器 (FedD2P: Federated Distilling knowledge to Prompt)，用于在不在边缘设备上本地部署 FMs 的情况下，利用其强大的表示能力适应下游任务。为消除对公共数据集的依赖，我们的框架利用物联网设备的 per-class 本地知识和类的语言描述来训练提示生成器。我们在 diverse image classification 数据集 CIFAR、OxfordPets、SVHN、EuroSAT 和 DTD 上进行实验，表明 FedD2P 在模型性能方面优于基线方法。
引用
@article{arxiv.2409.09273,
title = {Leveraging Foundation Models for Efficient Federated Learning in Resource-restricted Edge Networks},
author = {S. Kawa Atapour and S. Jamal SeyedMohammadi and S. Mohammad Sheikholeslami and Jamshid Abouei and Konstantinos N. Plataniotis and Arash Mohammadi},
journal= {arXiv preprint arXiv:2409.09273},
year = {2024}
}