FedTP：基于 Transformer 个性化的联邦学习
机器学习
2023-04-19 v2 人工智能
摘要
联邦学习是一种新兴的学习范式，多个客户端以隐私保护的方式协作训练机器学习模型。个性化联邦学习扩展了该范式，通过学习个性化模型来克服客户端间的异质性。近来，已有一些将 Transformer 应用于联邦学习的初步尝试。然而，联邦学习算法对自注意力的影响尚未被研究。本文探究了这一关系，并揭示在数据异质性存在时，联邦平均算法实际上对自注意力有负面影响。这些影响限制了 Transformer 模型在联邦学习设定下的能力。基于此，我们提出 FedTP，一种新颖的基于 Transformer 的联邦学习框架，其为每个客户端学习个性化自注意力，同时在客户端间聚合其他参数。不同于使用在本地维护各客户端个性化自注意力层的朴素个性化机制，我们开发了学习即个性化（learn-to-personalize）机制，以进一步鼓励客户端间协作并提升 FedTP 的可扩展性与泛化性。具体而言，学习即个性化由服务器端学习一个超网络实现，该超网络输出自注意力层的个性化投影矩阵以生成客户端特定的查询、键与值。此外，我们给出了带学习即个性化机制的 FedTP 的泛化界。值得注意的是，FedTP 为使用同一联邦网络架构执行一系列图像与语言任务提供了便捷环境——所有这些任务均受益于 Transformer 个性化。大量实验验证了带学习即个性化机制的 FedTP 在非独立同分布场景中取得了最先进的性能。我们的代码已在线提供。
引用
@article{arxiv.2211.01572,
title = {FedTP: Federated Learning by Transformer Personalization},
author = {Hongxia Li and Zhongyi Cai and Jingya Wang and Jiangnan Tang and Weiping Ding and Chin-Teng Lin and Ye Shi},
journal= {arXiv preprint arXiv:2211.01572},
year = {2023}
}