PrE-Text：在大语言时代对私有联邦数据进行语言模型训练
机器学习
2024-10-21 v3 人工智能
计算与语言
密码学与安全
分布式、并行与集群计算
摘要
设备内训练是当前在私有分布式用户数据上训练机器学习（ML）模型最常见的方法。尽管如此，设备内训练仍存在若干缺点：（1）大多数用户设备太小，无法在设备上训练大型模型；（2）设备内训练在通信和计算方面都很耗资源；（3）设备内训练可能难以调试和部署。为此，我们提出了Private Evolution-Text（PrE-Text），一种用于生成差分隐私（DP）合成文本数据的 метод。首先，我们表明在多个数据集上，使用PrE-Text合成数据训练的小型模型（适用于用户设备的模型）在实际隐私情境下（ε=1.29，ε=7.58）优于在设备上训练的小型模型。我们在这些结果的同时，以9倍较少的轮次、6倍较少的客户端计算量和100倍较少的通信量即可实现。其次，在PrE-Text的DP合成数据上微调大型模型可提高大型语言模型（LLM）在私有数据上的性能，隐私预算范围相同。总体而言，这些结果表明，在私有分布式数据上训练合成DP数据要比在设备上训练模型更好。代码已公开：https://github.com/houcharlie/PrE-Text。
引用
@article{arxiv.2406.02958,
title = {PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs},
author = {Charlie Hou and Akshat Shrivastava and Hongyuan Zhan and Rylan Conway and Trang Le and Adithya Sagar and Giulia Fanti and Daniel Lazar},
journal= {arXiv preprint arXiv:2406.02958},
year = {2024}
}
备注
ICML 2024 (Oral). Latest revision corrects a discussion on concurrent work arXiv:2403.01749. We described their work as reliant on using closed-sourced models when in reality they also evaluate and use open source models. This has been corrected in this version