通过平衡模态选择克服多模态联邦学习中的模态偏差
机器学习
2024-07-30 v2 计算机视觉与模式识别
多媒体
摘要
在每一轮联邦学习 (FL) 中选择适当的客户端参与，对于有效利用广泛的分布式数据至关重要。现有的客户端选择方法仅考虑分布式单模态数据的挖掘，然而，由于模态不平衡问题不仅阻碍了协作式本地训练，还导致了严重的全局模态级偏差，这些方法在多模态联邦学习 (MFL) 中的有效性可能会降低。我们通过实证研究发现，使用特定单一模态进行本地训练可能比使用所有本地模态训练对全局模型的贡献更大。为了有效利用分布式多模态数据，我们提出了一种用于 MFL 的新型平衡模态选择框架 (BMSFed) 以克服模态偏差。一方面，我们在本地训练期间引入模态增强损失，基于聚合的全局原型来缓解本地不平衡。另一方面，我们提出了模态选择策略，旨在选择具有高度多样性的本地模态子集，同时实现全局模态平衡。我们在音频 - 视觉、彩色 - 灰度以及前 - 后视角数据集上的大量实验表明，BMSFed 优于基线方法，并在多模态数据利用方面具有显著有效性。
引用
@article{arxiv.2401.00403,
title = {Overcome Modal Bias in Multi-modal Federated Learning via Balanced Modality Selection},
author = {Yunfeng Fan and Wenchao Xu and Haozhao Wang and Fushuo Huo and Jinyu Chen and Song Guo},
journal= {arXiv preprint arXiv:2401.00403},
year = {2024}
}
备注
Accepted by ECCV24, 23 pages