OmniFM：面向异构医学成像的模态鲁棒与任务无关的联邦学习
计算机视觉与模式识别
2026-03-24 v1
摘要
联邦学习（FL）已成为协作医学图像分析的一种有前景的范式，然而现有的框架仍然与特定任务的骨干网络紧密耦合，并且在异构成像模态下表现脆弱。这种限制阻碍了现实世界的部署，因为各机构的模态分布差异很大，并且必须支持多样化的下游任务。为了解决这一限制，我们提出了 OmniFM，一个模态和任务无关的 FL 框架，它统一了分类、分割、超分辨率、视觉问答和多模态融合的训练，而无需重新设计优化流程。OmniFM 建立在一个关键的频域洞察之上：低频频谱成分表现出强大的跨模态一致性，并编码了模态不变的解剖结构。据此，OmniFM 集成了 (i) 全局频谱知识检索以注入全局频率先验，(ii) 嵌入级交叉注意力融合以对齐表征，以及 (iii) 前缀-后缀频谱提示以联合调节全局和个性化线索，并通过频谱-近端对齐目标进行正则化以稳定聚合。在真实世界数据集上的实验表明，OmniFM 在模态内和跨模态异构性下始终优于最先进的 FL 基线，在微调和从头训练设置下均取得了卓越的结果。
引用
@article{arxiv.2603.21660,
title = {OmniFM: Toward Modality-Robust and Task-Agnostic Federated Learning for Heterogeneous Medical Imaging},
author = {Meilin Liu and Jiaying Wang and Jing Shan},
journal= {arXiv preprint arXiv:2603.21660},
year = {2026}
}
备注
Accepted by CVPR 2026 (Main)