CipherFormer：低通信轮数复杂度的高效 Transformer 隐私推理
密码学与安全
2024-03-26 v1
摘要
将大型 Transformer 模型的推理任务外包给云服务器正成为一种日益增长的趋势。然而，由于用户上传后私有数据会暴露给云服务器，这对其构成了严重威胁。尽管已有若干工作尝试为 Transformer 模型提供隐私推理，但其数百次的通信轮数限制了应用场景。出于最小化轮数复杂度的动机，我们提出了 CipherFormer，一种结合同态加密与混淆电路的新型 Transformer 隐私推理方案。我们提出了一种快速计算同态矩阵乘法的协议。随后，我们修改了注意力机制并设计了相应的混淆电路。此外，我们展示了如何利用轻量级注意力机制与混合位宽在保持准确率的同时降低推理延迟。与文本分类任务上先进的同态加密方案相比，我们的模型在准确率上提升了 3% 至 11%，同时在隐私推理中实现了 7.7 倍至 11.9 倍的加速。
关键词
引用
@article{arxiv.2403.16860,
title = {CipherFormer: Efficient Transformer Private Inference with Low Round Complexity},
author = {Weize Wang and Yi Kuang},
journal= {arXiv preprint arXiv:2403.16860},
year = {2024}
}
备注
Accepted by CSCWD 2024 (27th International Conference on Computer Supported Cooperative Work in Design)