FedDAT：多模态异构联邦学习中基础模型微调的一种方法
机器学习
2023-08-25 v1 人工智能
多媒体
摘要
近来，基础模型在多模态学习中展现出显著进展。这些拥有数百万（或数十亿）参数的模型通常需要大量数据进行微调。然而，由于各异的隐私法规，从多领域收集和集中训练数据变得颇具挑战。联邦学习（FL）作为一种前景广阔的方案应运而生，使多个客户端能够协同训练神经网络而无需集中其本地数据。为减轻客户端计算负担与通信开销，已有工作将参数高效微调（PEFT）方法适配于FL，即在联邦通信期间仅优化并传输模型参数的极小部分。尽管如此，多数先前工作聚焦于单一模态，并忽视了常见的一种现象，即客户端间存在的数据异构性。因此，本工作中我们提出一种面向异构多模态FL的微调框架，称为联邦双适配器教师（FedDAT）。具体而言，我们的方法利用双适配器教师（DAT）通过正则化客户端本地更新并应用互知识蒸馏（MKD）以实现高效知识迁移，从而应对数据异构性。FedDAT是首个能够针对各类异构视觉-语言任务实现基础模型高效分布式微调的方法。为证明其有效性，我们在四个具有不同类型数据异构性的多模态FL基准上进行了大量实验，FedDAT大幅优于现有适配于FL的集中式PEFT方法。
引用
@article{arxiv.2308.12305,
title = {FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning},
author = {Haokun Chen and Yao Zhang and Denis Krompass and Jindong Gu and Volker Tresp},
journal= {arXiv preprint arXiv:2308.12305},
year = {2023}
}