面向混合模态和异构任务的自适应原型知识传递联邦学习
机器学习
2025-08-05 v2 人工智能
密码学与安全
多媒体
摘要
混合模态联邦学习（MFL）使具备单模态和多模态客户端能够在确保隐私的前提下协同训练模型。作为当地数据的代表性样本，原型方法具有低资源消耗且无需先验知识的优势。然而，现有基于原型的MFL方法假设跨客户端统一标签且每个客户端任务相同，这在混合模态MFL中并不切实。在本工作中，我们提出一种自适应原型联邦学习（AproMFL）框架，用于混合模态以解决上述问题。我们的AproMFL通过自适应构建的原型进行知识传递，无需统一标签。客户端根据标签自适应选择原型构建方法；服务器将客户端原型转换为统一的多模态原型并进行聚类，以形成全局原型。为解决任务异构性导致的模型聚合问题，我们开发了基于客户端关系图的方案，以动态调整聚合权重。此外，我们提出全局原型知识传递损失和全局模型知识传递损失，以实现全局知识向局部知识的传递。实验结果表明，AproMFL在三个高度异构数据集（α=0.1）和两个异构任务上 outperform四个基线方法，在准确率和召回率方面分别高出0.42%~6.09%和1.6%~3.89%。
引用
@article{arxiv.2502.04400,
title = {Adaptive Prototype Knowledge Transfer for Federated Learning with Mixed Modalities and Heterogeneous Tasks},
author = {Keke Gai and Mohan Wang and Jing Yu and Dongjue Wang and Qi Wu},
journal= {arXiv preprint arXiv:2502.04400},
year = {2025}
}