差分私有模型压缩
机器学习
2022-06-07 v1 密码学与安全
摘要
近期论文表明，诸如 BERT、GPT-2 等大型预训练语言模型（LLMs）可在私有数据上微调，从而在众多下游自然语言处理（NLP）任务中取得与非私有模型相当的性能，同时保证差分隐私。然而，这些由数亿参数组成的模型推理成本可能高得令人望而却步。因此，在实践中，LLMs 通常在部署于特定应用前被压缩。本文开创了差分私有模型压缩的研究，并提出了在保持近乎完整性能的同时实现 50% 稀疏度水平的框架。我们在使用 BERT 模型的标准 GLUE 基准上验证了这些思路，为该主题的后续研究树立了基准。
引用
@article{arxiv.2206.01838,
title = {Differentially Private Model Compression},
author = {Fatemehsadat Mireshghallah and Arturs Backurs and Huseyin A Inan and Lukas Wutschitz and Janardhan Kulkarni},
journal= {arXiv preprint arXiv:2206.01838},
year = {2022}
}