基于多域原型的联邦域适应提升框架
机器学习
2024-10-11 v1 人工智能
摘要
联邦域适应（FDA）是联邦学习（FL）的一种场景，其中模型在多个拥有独特数据域但共享类别空间的客户端上训练，且不传输私有数据。FDA的主要挑战是数据异构性，这会导致常规基于平均的聚合方法在梯度更新上产生显著差异，降低全局模型的效果，进而削弱同一联邦系统内但位于本地客户端之外的样本的 in-domain 和 out-of-domain 性能。为此，我们提出一种新型框架，称为 多域原型联邦微调（Multi-domain Prototype-based Federated Fine-tuning, MPFT）。MPFT 使用多域原型进行预训练模型微调，即使用来自类别特定本地数据的域特定信息丰富的预训练表征。这使得在服务器上进行监督学习，以派生全局优化适配器，随后分发给本地客户端，无需侵入数据隐私。实验结果表明，MPFT 在常规方法上显著提升了 in-domain 和 out-of-domain 的准确率，增强了知识保留与适应性。值得注意的是，MPFT 在单个通信轮次内即可收敛，大幅降低计算和通信成本。为确保隐私，MPFT 对原型应用了差分隐私。此外，我们开发了一种基于原型的特征空间劫持攻击来评估鲁棒性，确认即使在多个训练轮次后，原始数据样本也无法恢复。MPFT 的完整实现已发布于 \url{https://anonymous.4open.science/r/DomainFL/}。
引用
@article{arxiv.2410.07738,
title = {Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning},
author = {Jingyuan Zhang and Yiyang Duan and Shuaicheng Niu and Yang Cao and Wei Yang Bryan Lim},
journal= {arXiv preprint arXiv:2410.07738},
year = {2024}
}