多模态联邦学习中的模块优先级: 灵活的重要性调度
机器学习
2024-08-14 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种分布式机器学习方法，使设备能够在不共享本地数据的情况下协同训练模型，确保用户隐私和可扩展性。然而，将 FL 应用于实际数据存在挑战，尤其是目前大多数 FL 研究仅聚焦于单模态数据。多模态联邦学习（MFL）应运而下，以解决这些挑战，利用模态特定的编码器模型处理多样化数据集。当前的 MFL 方法通常在所有模态上均匀分配计算频率，这对资源有限的 IoT 设备而言效率低下。本文提出了 FlexMod，一种新方法，通过根据各模态的重要性和训练需求自适应分配训练资源来提高 MFL 的计算效率。我们采用原型学习来评估模态编码器的质量，使用 Shapley 值量化每个模态的重要性，并采用深度确定性策略梯度（DDPG）方法来优化训练资源的分配。我们的 method 优先处理关键模态，优化模型性能和资源利用。在三个真实数据集上的实验结果表明，我们提出的方法显著提高了 MFL 模型的性能。
引用
@article{arxiv.2408.06549,
title = {Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning},
author = {Jieming Bian and Lei Wang and Jie Xu},
journal= {arXiv preprint arXiv:2408.06549},
year = {2024}
}
备注
Submitted to IEEE TMC, under review