应对多模态在线联邦学习中模态数量与质量不平衡的方法
机器学习
2025-08-18 v1
摘要
物联网(IoT)生态系统产生大量来自传感器、摄像头和麦克风等多样化来源的多模态数据。随着边缘智能的发展,IoT设备已从简单的数据采集单元演变为具备计算能力的节点,能够对异构多模态数据进行本地化处理。这种演变使得分布式学习范式成为必须,以高效处理此类数据。此外,数据生成的持续性质以及边缘设备存储容量有限的限制,要求采用在线学习框架。多模态在线联邦学习(MMO-FL)因而成为一种满足这些要求的有前景的方法。然而,由于物联网设备固有的不稳定性,在数据收集过程中常常导致模态数量和质量不平衡(QQI)。本文系统性地研究了QQI在MMO-FL框架中的影响,并对其对学习性能的双重降低进行了全面的理论分析。为解决这些挑战,我们提出了一种模态数量和质量重平衡(QQR)算法,这是一种基于原型学习的方法,旨在与训练过程并行运行。在两个真实世界多模态数据集上的广泛实验表明,在模态不平衡条件下,所提出的QQR算法始终优于基准方法,且具有有前景的学习性能。
引用
@article{arxiv.2508.11159,
title = {Mitigating Modality Quantity and Quality Imbalance in Multimodal Online Federated Learning},
author = {Heqiang Wang and Weihong Yang and Xiaoxiong Zhong and Jia Zhou and Fangming Liu and Weizhe Zhang},
journal= {arXiv preprint arXiv:2508.11159},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2505.16138