面向物联网的多模态在线联邦学习：模态缺失问题
机器学习
2025-05-23 v1 分布式、并行与集群计算
摘要
物联网（IoT）生态系统生成来自传感器、摄像头和麦克风等异构来源的海量多模态数据。随着边缘智能的发展，IoT设备已从简单的采集单元发展为能够执行复杂计算任务的节点。这一演变 necessitates 采用分布式学习策略来有效处理IoT环境中的多模态数据。此外，数据采集的实时性质和边缘设备上有限的本地存储容量要求采用在线学习范式。为了应对这些挑战，我们提出了多模态在线联邦学习（MMO-FL）的概念，旨在IoT环境中实现动态和去中心化的多模态学习。建立在该框架之上，我们进一步考虑到边缘设备内在的不稳定性，这会频繁导致学习过程中模态缺失。我们在完整和缺失模态情景下进行了全面的理论分析，提供了关于缺失模态如何导致性能下降的见解。为了缓解模态缺失的影响，我们提出了原型模态缓解（PMM）算法，该算法利用原型学习有效补偿缺失模态。实验结果在两个多模态数据集上进一步表明PMM的性能优于基准方法。
引用
@article{arxiv.2505.16138,
title = {Multimodal Online Federated Learning with Modality Missing in Internet of Things},
author = {Heqiang Wang and Xiang Liu and Xiaoxiong Zhong and Lixing Chen and Fangming Liu and Weizhe Zhang},
journal= {arXiv preprint arXiv:2505.16138},
year = {2025}
}