原型引导的轻量化适配器:联邦学习中内在解释与泛化
机器学习
2025-07-09 v1 机器学习
摘要
联邦学习(Federated Learning)提供了一种在保持隐私的前提下,跨分布式数据源协同训练机器学习模型的有前景的范式。然而,实际的联邦学习面临着诸多挑战,包括通信开销较大的模型参数传输以及统计异质性问题——后者源于不同客户端之间数据分布的非相同性。本文提出一种联邦学习框架,实现:1)利用原型(prototypes)提供内在解释;2)通过轻量化适配器模块充当局部模型的压缩替代品,以应对统计异质性,引导客户端在各异样本分布下实现泛化。每个客户端通过将类别嵌入对齐原型表示,同时调整轻量化适配器来本地化模型。我们的方案无需传输整个模型权重,仅传输原型和轻量化适配器。此设计确保每个客户端的模型与全局共享结构对齐,同时最小化通信负载并提供内在解释。我们在真实的视网膜底视野图像数据集上进行了实验,该数据集包含临床-site 信息。我们展示了内在可解释性的能力,并进行了分类任务,显示相对于基线算法在准确率上有所提升。
引用
@article{arxiv.2507.05852,
title = {Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning},
author = {Samuel Ofosu Mensah and Kerol Djoumessi and Philipp Berens},
journal= {arXiv preprint arXiv:2507.05852},
year = {2025}
}
备注
10 pages, 4 figures, submitted to MICCAI 2025, used llncs document class