FedAdapter：面向现代 NLP 的高效联邦学习
机器学习
2023-05-10 v2
摘要
基于 Transformer 的预训练模型凭借优越的性能和通用性革新了 NLP。为下游任务微调预训练模型通常需要私有数据，对此联邦学习是事实上的方法（即 FedNLP）。然而，我们的测量表明，由于模型规模大以及由此产生的高网络/计算成本，FedNLP 极其缓慢。为实现实用的 FedNLP，我们确定适配器（插入在多种模型层中的小型瓶颈模块）为关键构建块。一个关键挑战是正确配置适配器的深度和宽度，训练速度和效率对其高度敏感。不存在万能配置：最优选择因下游 NLP 任务、期望模型精度和移动资源而异。为自动化适配器配置，我们提出 FedAdapter，一个通过两种新颖设计增强现有 FedNLP 的框架。首先，FedAdapter 在整个训练过程中逐步升级适配器配置；其原则是仅通过训练模型顶层较少且较小的适配器快速学习浅层知识，并逐步纳入更深更大的适配器学习深层知识。其次，FedAdapter 通过分配参与设备到试验组持续探查未来的适配器配置。大量实验表明，FedAdapter 可将 FedNLP 的模型收敛延迟减少到不超过数小时，比原始 FedNLP 快达 155.5，比强基线快 48。
引用
@article{arxiv.2205.10162,
title = {FedAdapter: Efficient Federated Learning for Modern NLP},
author = {Dongqi Cai and Yaozong Wu and Shangguang Wang and Felix Xiaozhu Lin and Mengwei Xu},
journal= {arXiv preprint arXiv:2205.10162},
year = {2023}
}
备注
Accepted by MobiCom 2023