FedGTST：通过统计调校提升联邦模型全局迁移性
机器学习
2024-10-18 v1 人工智能
摘要
迁移学习（Transfer Learning, TL）的性能严重依赖于有效的预训练，这需要大规模数据集和大量计算资源。因此，对于单个模型开发者来说，执行迁移学习往往面临挑战。联邦学习（Federated Learning, FL）通过促进客户之间的合作，间接扩大数据集，分布计算成本，并保护隐私，来解决这些问题。然而，仍存在若干关键挑战未被解决。首先，现有的联邦学习方法倾向于仅在本地领域优化迁移性，忽略了全局学习领域。其次，大多数方法依赖间接的迁移性指标，这些指标并不准确反映最终目标损失或真正的迁移程度。为解决这些问题，我们对联邦学习提出了两项改进。首先，我们引入一个客户-服务器交换协议，利用跨客户端的雅可比（梯度）范数来提升迁移性。其次，我们在服务器端增加跨客户端的平均雅可比范数，将其作为局部正则化器，以减少跨客户端的雅可比方差。我们的可迁移联邦算法，称为 FedGTST（Federated Global Transferability via Statistics Tuning），表明增加平均雅可比范数并减少其方差，可实现对目标损失的更紧密控制。这导致以源损失和源-目标域间隔差为上界的目标损失。在 MNIST 到 MNIST-M 以及 CIFAR10 到 SVHN 等数据集上的大量实验表明，FedGTST 在相关基线方法（包括 FedSR）方面表现更佳。在第二个数据集对上，使用 LeNet 作为骨干网络时，FedGTST 分别比 FedSR 和 FedIIR 的准确率分别提高了 9.8% 和 7.6%。
引用
@article{arxiv.2410.13045,
title = {FedGTST: Boosting Global Transferability of Federated Models via Statistics Tuning},
author = {Evelyn Ma and Chao Pan and Rasoul Etesami and Han Zhao and Olgica Milenkovic},
journal= {arXiv preprint arXiv:2410.13045},
year = {2024}
}