FedMAC：用于解决联邦学习中部分模态缺失的跨模态聚合与对比度正则化
机器学习
2025-11-11 v2 多媒体
摘要
联邦学习是一种使用分布式数据源训练机器学习模型的方法。它通过允许客户端在本地存储数据，同时协作学习共享的全局模型来确保隐私。然而，当处理客户端数据集中缺失的模态时，会出现显著挑战，即某些特征或模态不可用或不完整，导致数据分布异构。虽然已有研究解决了完全模态缺失的问题，但由于在实例级别的严重异构性，无法针对部分模态缺失进行处理，即缺失数据模式可能因每个样本而异。为应对这一挑战，本研究提出了一种名为 FedMAC 的新型框架，用于在联邦学习中处理部分模态缺失情形。此外，为避免对多模态特征进行平凡聚合，我们引入对比度正则化以对潜在表示空间施加额外约束。实验结果表明，FedMAC 在各种具有统计异构性的客户端配置下均有效，尤其在严重缺失情景下相较于基线方法提升最高可达 26%，凸显其作为联邦系统中处理部分模态缺失解决方案的潜力。我们的源码已提供于 https://github.com/nmduonggg/PEPSY
引用
@article{arxiv.2410.03070,
title = {FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization},
author = {Manh Duong Nguyen and Trung Thanh Nguyen and Huy Hieu Pham and Trong Nghia Hoang and Phi Le Nguyen and Thanh Trung Huynh},
journal= {arXiv preprint arXiv:2410.03070},
year = {2025}
}
备注
The 22nd International Symposium on Network Computing and Applications (NCA 2024)