面向多模态联邦学习的可重构表征学习：处理缺失数据
机器学习
2025-10-28 v1 人工智能
摘要
在真实场景下，多模态联邦学习常常遇到跨客户端数据不完整且异构的问题，这导致局部特征表征错位，限制了模型聚合的效果。与此前假设不同模态集合缺失输入特征或共享模态集合但跨客户端缺失特征的做法不同，我们考虑更为一般且现实的情形：每个客户端观察不同的模态子集，并且可能在每个模态内部存在缺失的输入特征。为解决由此导致的表征错位问题，我们提出一种新的联邦学习框架，基于可学习的客户端端嵌入控制器实现局部自适应表征。这些嵌入编码了每个客户端的数据缺失模式，作为重构信号，用于将全局聚合表征与每个客户端的本地上下文对齐，从而更有效地利用共享信息。此外，嵌入控制器可以针对数据缺失模式相似的客户端进行算法聚合，以增强重构信号在适应全局表征方面的鲁棒性。在多个具有不同数据缺失模式的联邦多模态基准测试上的实验结果表明，所提方法有效， 在数据严重不完整的情况下可实现最高36.45%的性能提升。该方法还通过明确的性能界限进行了理论分析，与我们的实证观察相吻合。我们的源代码已提供至 https://github.com/nmduonggg/PEPSY
引用
@article{arxiv.2510.22880,
title = {Learning Reconfigurable Representations for Multimodal Federated Learning with Missing Data},
author = {Duong M. Nguyen and Trong Nghia Hoang and Thanh Trung Huynh and Quoc Viet Hung Nguyen and Phi Le Nguyen},
journal= {arXiv preprint arXiv:2510.22880},
year = {2025}
}
备注
Accepted at NeurIPS 2025