看不见却能微调：基于全同态加密的 Transformer 加密微调研究
机器学习
2024-02-15 v1 人工智能
密码学与安全
摘要
在当今的机器学习领域，微调预训练 Transformer 模型已成为一项关键技术，尤其是在任务对齐训练数据获取受限的场景中。然而，当数据共享因严格的隐私法规或用户对个人信息披露的担忧而遇到障碍时，挑战便随之浮现。早期基于安全多方计算（SMC）和全同态加密（FHE）的隐私保护机器学习（PPML）工作，更多关注隐私保护推理而非隐私保护训练。为此，我们提出了 BlindTuner，这是一个隐私保护微调系统，能够使 Transformer 在完全同态加密的数据上进行图像分类训练。我们广泛的实验验证了 BlindTuner 的有效性，其准确率与非加密模型相当。值得注意的是，我们的研究结果表明，与先前该领域的工作相比，其速度提升了 1.5 倍至 600 倍。
引用
@article{arxiv.2402.09059,
title = {I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption},
author = {Prajwal Panzade and Daniel Takabi and Zhipeng Cai},
journal= {arXiv preprint arXiv:2402.09059},
year = {2024}
}
备注
Accepted for the presentation at PPAI @The 38th Annual AAAI Conference on Artificial Intelligence 2024