FedMobile：面向缺失模态情境下的知识贡献感知多模态联邦学习
机器学习
2025-02-25 v1 人工智能
摘要
物联网 (IoT) 标准的 Web of Things (WoT) 通过增强跨 web 基础平台和普适计算平台的互操作性而发挥作用，并补充现有的 IoT 标准。多模态联邦学习 (Federated Learning, FL) 范式已被引入以提升 WoT，通过实现来自多源移动感知数据的融合，同时保持隐私。然而，移动感知系统中使用多模态 FL 的关键挑战在于模态不完整性，即某些模态可能不可用或仅部分捕获，可能降低系统的性能和可靠性。当前的多模态 FL 框架通常训练多个单模态 FL 子系统，或在节点侧应用插值技术来近似缺失的模态。然而，这些方法忽略了不同节点之间在不完整模态之间共享的潜在特征空间，并未针对低质量节点进行区分。为解决这一差距，我们提出了 FedMobile，一个面向即使存在缺失模态情况下的鲁棒学习的新型知识贡献感知多模态 FL 框架。FedMobile 优先进行局部到全局的知识传递，利用跨节点多模态特征信息来重建缺失特征。它还通过严格的节点贡献评估和知识贡献感知聚合规则来提升系统性能和对模态异构性的鲁棒性。在五个广泛认可的多模态基准数据集上的经验评估表明，FedMobile 即使在最高达 90% 的模态信息缺失或两个模态随机缺失时，仍能保持稳健的学习性能，并优于最先进的基线方法。
引用
@article{arxiv.2502.15839,
title = {FedMobile: Enabling Knowledge Contribution-aware Multi-modal Federated Learning with Incomplete Modalities},
author = {Yi Liu and Cong Wang and Xingliang Yuan},
journal= {arXiv preprint arXiv:2502.15839},
year = {2025}
}
备注
The Web Conference 2025