FedAFD：基于对抗融合与蒸馏的多模态联邦学习
机器学习
2026-03-06 v1 人工智能
计算机视觉与模式识别
摘要
多模态联邦学习(MFL)使拥有异构数据模态的客户端能够在不共享原始数据的情况下协作训练模型，提供一种基于隐私保护的框架，利用互补的跨模态信息。然而，现有方法常常忽视个性化客户端性能，并在模态/任务差异和模型异构性方面存在挑战。为此，我们提出FedAFD，一个统一的MFL框架以提升客户端和服务器端的学习。在客户端，我们引入双层对抗对齐策略，以在模态内部和跨模态之间对齐局部与全局表征，从而减缓模态和任务差距。我们进一步设计了粒度感知的融合模块，以适应性方式将全局知识整合到个性化特征中。在服务器端，为处理模型异构性，我们提出基于特征相似性的集合蒸馏机制，在共享公共数据上基于特征相似性聚合客户端表征，并将融合知识蒸馏到全局模型中。在IID和非IID设置下进行的大量实验表明，FedAFD在客户端和服务器端均实现了卓越的性能和效率。
引用
@article{arxiv.2603.04890,
title = {FedAFD: Multimodal Federated Learning via Adversarial Fusion and Distillation},
author = {Min Tan and Junchao Ma and Yinfu Feng and Jiajun Ding and Wenwen Pan and Tingting Han and Qian Zheng and Zhenzhong Kuang and Zhou Yu},
journal= {arXiv preprint arXiv:2603.04890},
year = {2026}
}
备注
Accepted by CVPR 2026