多模态联邦学习中基于条件扩散的模内缺失插值
机器学习
2026-04-28 v1
摘要
多模态联邦学习（MMFL）实现了隐私保护的协同训练，但实际临床应用常因传感器间歇性或不规则采样导致模内缺失。现有方法通过架构对齐或缺失嵌入隐式表示未观测数据，往往难以恢复真实分布，导致性能次优。我们提出了 CondI（Conditional Imputation），采用条件扩散模型显式处理此类缺失。CondI 采用两阶段训练流程：首先利用可用多模态上下文和条件嵌入对未观测的时间成分进行插值；其次优化模态特定的提取器和联合嵌入空间。在推理阶段，插值后的原始数据通过训练好的提取器生成稳健特征，为下游任务提供整体表示。显式数据插值确保模型在完整语义结构上运行，显著提升了对严重数据不完整性的韧性。在三个临床数据集（PTB-XL、SLEEP-EDF、MIMIC-IV）上的实验表明，CondI 能达到与最新基线相当的性能。代码：https://github.com/ZhengWugeng/CondI
引用
@article{arxiv.2604.23112,
title = {Conditional Imputation for Within-Modality Missingness in Multi-Modal Federated Learning},
author = {Wugeng Zheng and Ziwen Kan and Katie Wang and Chen Chen and Song Wang},
journal= {arXiv preprint arXiv:2604.23112},
year = {2026}
}
备注
Wugeng Zheng and Ziwen Kan contributed equally to this work. Song Wang is the corresponding author. Accepted to FedVision 2026