基于层级和渐进训练的资源高效联邦多模态学习
机器学习
2024-10-22 v2
摘要
将不同数据模态组合 enables 深度神经网络更有效地解决复杂任务，使得多模态学习日益受到青睐。要将多模态数据更接近地部署给 end users，必须将多模态学习与类似联邦学习（FL）的隐私保护方法集成。然而，与传统单模态学习相比，多模态设置需要为每个模态 dedicated 编码器，导致模型更大更复杂。训练这些模型需要大量资源，为运行计算和通信资源有限的 FL 客户端提出了重大挑战。为解决这些挑战，我们引入了一种名为 LW-FedMML 的 layer-wise 联邦多模态学习方法，该方法将训练过程分解为多个阶段。每个阶段仅训练模型的一部分，从而显著降低内存和计算需求。此外，FL 客户端只需与 central server 交换训练好的模型部分，降低了通信成本。我们在 various FL 和多模态学习 setting 下进行大量实验，以验证所提出方法的有效性。结果表明，LW-FedMML 在显著降低 FL 客户端资源负担的同时，可与传统 end-to-end 联邦多模态学习（FedMML）相媲美。具体而言，LW-FedMML 将内存使用降低最高可达 ，计算运算量（FLOPs）降低 ，总通信成本降低 。我们还探索了一种称为 Prog-FedMML 的渐进式训练方法。虽然它在资源效率方面不如 LW-FedMML，但 Prog-FedMML 有望超越 end-to-end FedMML 的性能，使其成为资源约束较少的场景中的可行选项。
引用
@article{arxiv.2407.15426,
title = {Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training},
author = {Ye Lin Tun and Chu Myaet Thwal and Minh N. H. Nguyen and Choong Seon Hong},
journal= {arXiv preprint arXiv:2407.15426},
year = {2024}
}