多模态联邦学习：透过不同 FL 范式视角的综述
机器学习
2025-05-29 v1 人工智能
摘要
多模态联邦学习 (MFL) 处于两个关键研究领域的交汇点：利用来自多种模态的互补信息以提升下游推理性能，以及实现分布式训练以提高效率并保护隐私。尽管对 MFL 的兴趣日益增长，但目前尚无通过不同联邦学习 (FL) 范式视角来组织 MFL 的全面分类体系。这一视角很重要，因为多模态数据在各种 FL 设定中引入了独特的挑战。这些挑战，包括模态异构性、隐私异构性和通信低效性，与传统单模态或非 FL 场景中遇到的挑战存在根本性差异。在本文中，我们在三种主要 FL 范式的背景下系统地考察了 MFL：横向联邦学习 (HFL)、纵向联邦学习 (VFL) 和混合联邦学习。针对每种范式，我们给出了问题表述，回顾了代表性的训练算法，并强调了分布式设定下多模态数据引入的最突出挑战。我们还讨论了开放性挑战并为未来研究提供了见解。通过建立这一分类体系，我们旨在揭示从不同 FL 范式视角下多模态数据提出的新挑战，并提供一个理解与推进 MFL 发展的新视角。
引用
@article{arxiv.2505.21792,
title = {Multimodal Federated Learning: A Survey through the Lens of Different FL Paradigms},
author = {Yuanzhe Peng and Jieming Bian and Lei Wang and Yin Huang and Jie Xu},
journal= {arXiv preprint arXiv:2505.21792},
year = {2025}
}