Primer：基于加密数据的快速隐私保护Transformer推理
密码学与安全
2023-03-27 v1
摘要
为基于Transformer的云服务启用隐私保护推理正变得愈发重要。后量子密码技术，例如全同态加密（FHE）和多方计算（MPC），是支持隐私保护Transformer推理的流行方法。然而，现有工作仍受制于极高的计算和通信开销。在本工作中，我们提出Primer，以在加密数据上实现用于自然语言处理任务的快速且准确的Transformer。具体而言，Primer由针对基于注意力的Transformer模型优化的混合密码协议，以及包括计算合并和令牌优先密文打包在内的技术构建而成。在加密语言建模上的综合实验表明，Primer达到了最先进的准确率，并将推理延迟相比先前方法降低了90.6% ~ 97.5%。
引用
@article{arxiv.2303.13679,
title = {Primer: Fast Private Transformer Inference on Encrypted Data},
author = {Mengxin Zheng and Qian Lou and Lei Jiang},
journal= {arXiv preprint arXiv:2303.13679},
year = {2023}
}
备注
6 pages, 6 figures, 3 tables