公开大语言模型能否助力私有跨设备联邦学习？
机器学习
2024-04-16 v2
摘要
我们研究语言模型的（差分）私有联邦学习（FL）。跨设备 FL 中的语言模型相对较小，当中等规模用户的参与带来训练中的大规模并行时，可在有意义的正式用户级差分隐私（DP）保证下对其进行训练。近来，公开数据已被用于改善大、小语言模型的隐私-效用权衡。在本工作中，我们系统性地研究了利用大规模公开数据与 LLM 来辅助设备端 FL 模型的差分私有训练，并通过蒸馏技术进一步改善隐私-效用权衡。此外，我们提出了一种具有理论依据的新颖分布匹配算法，用以采样接近私有数据分布的公开数据，显著提升了在公开数据上（预）训练的样本效率。所提方法通过利用公开数据来训练私有模型，高效且有效，尤其适用于没有现成预训练模型的定制化设备端架构。
引用
@article{arxiv.2305.12132,
title = {Can Public Large Language Models Help Private Cross-device Federated Learning?},
author = {Boxin Wang and Yibo Jacky Zhang and Yuan Cao and Bo Li and H. Brendan McMahan and Sewoong Oh and Zheng Xu and Manzil Zaheer},
journal= {arXiv preprint arXiv:2305.12132},
year = {2024}
}
备注
Published at Findings of NAACL 2024