中文

原型引导的轻量化适配器:联邦学习中内在解释与泛化

机器学习 2025-07-09 v1 机器学习

摘要

联邦学习(Federated Learning)提供了一种在保持隐私的前提下,跨分布式数据源协同训练机器学习模型的有前景的范式。然而,实际的联邦学习面临着诸多挑战,包括通信开销较大的模型参数传输以及统计异质性问题——后者源于不同客户端之间数据分布的非相同性。本文提出一种联邦学习框架,实现:1)利用原型(prototypes)提供内在解释;2)通过轻量化适配器模块充当局部模型的压缩替代品,以应对统计异质性,引导客户端在各异样本分布下实现泛化。每个客户端通过将类别嵌入对齐原型表示,同时调整轻量化适配器来本地化模型。我们的方案无需传输整个模型权重,仅传输原型和轻量化适配器。此设计确保每个客户端的模型与全局共享结构对齐,同时最小化通信负载并提供内在解释。我们在真实的视网膜底视野图像数据集上进行了实验,该数据集包含临床-site 信息。我们展示了内在可解释性的能力,并进行了分类任务,显示相对于基线算法在准确率上有所提升。

关键词

引用

@article{arxiv.2507.05852,
  title  = {Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning},
  author = {Samuel Ofosu Mensah and Kerol Djoumessi and Philipp Berens},
  journal= {arXiv preprint arXiv:2507.05852},
  year   = {2025}
}

备注

10 pages, 4 figures, submitted to MICCAI 2025, used llncs document class