Privacy-Preserving Transformers: SwiftKey 的差分隐私实现
计算与语言
2025-05-12 v1 密码学与安全
机器学习
摘要
本文介绍我们在 SwiftKey 上使用差分隐私 (DP) 训练 Transformer 进行语言建模。我们进行了多项实验，以在模型规模、运行时速度和准确率之间进行权衡。我们表明，通过对 GPT2 架构进行规模压缩以适应所需大小，并采用两阶段训练过程（先在通用数据上构建种子模型，再在输入数据上进行 DP 微调），可实现在下一词预测和准确率方面获得小而持续的提升。该 Transformer 通过 ONNX 集成，实现了灵活性和效率。
引用
@article{arxiv.2505.05648,
title = {Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation},
author = {Abdelrahman Abouelenin and Mohamed Abdelrehim and Raffy Fahim and Amr Hendy and Mohamed Afify},
journal= {arXiv preprint arXiv:2505.05648},
year = {2025}
}