SwiftKey 隐私保护 Transformer：差分隐私实现
信号处理
2025-05-12 v1 计算机视觉与模式识别
摘要
本文使用差分隐私 (DP) 对 SwiftKey 的语言模型进行训练。我们进行了多项实验，以平衡模型规模、运行时速度与准确率之间的权衡。我们表明，通过对 GPT2 架构进行规模压缩以适应所需大小，并采用两阶段训练过程（先在通用数据上构建种子模型，再在输入数据上进行 DP 微调），可实现在下一词预测和准确率方面获得小而持续的提升。该 Transformer 通过 ONNX 集成，实现了灵活性和效率。
引用
@article{arxiv.2505.05647,
title = {A New k-Space Model for Non-Cartesian Fourier Imaging},
author = {Chin-Cheng Chan and Justin P. Haldar},
journal= {arXiv preprint arXiv:2505.05647},
year = {2025}
}