MMiC: 缓解聚类型联邦学习中模态不完整性
机器学习
2025-08-22 v3 人工智能
摘要
在大数据时代，数据挖掘对于从广泛且复杂数据集中揭示隐藏模式和洞见至关不可避免。多模态数据源的整合进一步增强了其潜力。多模态联邦学习（MFL）是一种分布式方法，旨在提高多模态学习的效率和质量，确保协作工作和隐私保护。然而，缺失的模态在MFL中构成重大挑战，往往源于数据质量问题或跨客户端的隐私政策。在本文中，我们提出了MMiC框架，用于在聚类内缓解MFL中的模态不完整性。MMiC通过替换客户端模型内部的部分参数来减轻缺失模态的影响。此外，它利用巴兹哈夫权力指数来优化客户端选择。最后，MMiC采用创新方法，通过利用马克思夫投资组合优化来动态控制全局聚合。广泛的实验表明，MMiC在包含缺失模态的多模态数据集上，在全局和个人化性能方面 consistently 优于现有联邦学习架构，确认了所提出解决方案的有效性。我们的代码已公开于https://github.com/gotobcn8/MMiC。
引用
@article{arxiv.2505.06911,
title = {MMiC: Mitigating Modality Incompleteness in Clustered Federated Learning},
author = {Lishan Yang and Wei Emma Zhang and Quan Z. Sheng and Lina Yao and Weitong Chen and Ali Shakeri},
journal= {arXiv preprint arXiv:2505.06911},
year = {2025}
}
备注
9 pages