面向知识融合的联邦选择性聚合

本文探讨了一个新的知识融合问题，称为联邦选择性聚合（FedSA）。FedSA 的目标是在多个去中心化教师模型的帮助下训练一个面向新任务的学生模型，这些教师模型的预训练任务和数据各不相同且互不可知。我们研究此类问题设置的动机源于近期模型共享的困境。许多研究人员或机构已投入大量资源训练大型且能力出众的网络。然而，由于隐私、安全或知识产权问题，即便他们希望为社区做出贡献，也无法分享各自预训练好的模型。所提出的 FedSA 为这一困境提供了解决方案，并更进一步，因为学习到的学生模型可专用于不同于所有教师模型的新任务。为此，我们提出了一种专门处理 FedSA 的策略。具体而言，我们的学生训练过程由一种新颖的基于显著性的方法驱动，该方法自适应地选择教师模型作为参与者，并将其代表性能力整合到学生模型中。为评估 FedSA 的有效性，我们在单任务和多任务设置下进行了实验。实验结果表明，FedSA 能有效融合来自去中心化模型的知识，并达到与集中式基线相竞争的性能。