重新思考起点：面向联邦下游任务的协作式预训练
机器学习
2024-12-12 v4
摘要
最近的一些研究表明，利用中心化预训练模型可以为联邦学习（FL）提供有利的初始化。然而，现有的预训练方法在面对任意的下游 FL 任务集时泛化能力不佳。具体而言，它们通常 (i) 获得的平均精度有限，特别是当存在未见下游标签时，以及 (ii) 导致显著的精度方差，无法在各客户端之间提供均衡的性能。为了应对这些挑战，我们提出了 CoPreFL，一种协作/分布式预训练方法，为下游 FL 任务提供稳健的初始化。CoPreFL 的核心思想是一个模型无关元学习（MAML）过程，该过程调整全局模型以紧密模拟异构且未见的 FL 场景，从而得到一个能够快速适应任意 FL 任务的预训练模型。我们的 MAML 过程将性能方差纳入元目标函数中，在各客户端之间平衡性能，而不是仅仅优化精度。通过广泛的实验，我们证明了与各种预训练基线相比，CoPreFL 在具有未见/已见标签的任意下游 FL 任务的平均精度和方差方面均取得了显著改进。我们还展示了 CoPreFL 如何与下游任务应用的不同知名 FL 算法兼容，并在每种情况下均提升了性能。
引用
@article{arxiv.2402.02225,
title = {Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks},
author = {Yun-Wei Chu and Dong-Jun Han and Seyyedali Hosseinalipour and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2402.02225},
year = {2024}
}
备注
AAAI 2025