FedRecon: 异构分布式环境中的缺失模态重建
机器学习
2025-08-14 v3 人工智能
摘要
多模态数据在现实场景中通常不完整且呈现非独立同分布（Non-IID）特征。这些固有限制通过部分模态缺失导致模态异质性，以及通过分布差异导致数据异质性，为有效的联邦学习（FL）带来了根本性挑战。为了解决这些耦合挑战，我们提出了FedRecon，这是第一个针对多模态FL中同时进行缺失模态重建和非独立同分布适应的方法。我们的方法首先采用轻量级多模态变分自编码器（MVAE）来重建缺失模态，同时保持跨模态一致性。与传统的插补方法不同，我们通过一种新颖的分布映射机制实现样本级对齐，保证了数据的一致性和完整性。此外，我们引入了一种全局生成器冻结策略以防止灾难性遗忘，从而减轻非独立同分布波动。在多模态数据集上的广泛评估表明，FedRecon在非独立同分布条件下模态重建方面表现出优越性能，超越了最先进的方法。代码将在论文接收后发布。
引用
@article{arxiv.2504.09941,
title = {FedRecon: Missing Modality Reconstruction in Heterogeneous Distributed Environments},
author = {Junming Liu and Yanting Gao and Yifei Sun and Yufei Jin and Yirong Chen and Ding Wang and Guosun Zeng},
journal= {arXiv preprint arXiv:2504.09941},
year = {2025}
}
备注
21 pages, 25 figures