Nimbus：面向 Transformer 的安全且高效双方推理

Transformer 模型因其在机器学习任务中的强大能力而受到广泛关注。其广泛的部署引发了对推理期间敏感信息泄露的担忧。然而，针对 Transformer，现有的基于安全双方计算 (2PC) 的方法在两个方面带来了效率限制：(1) 线性层中资源密集型的矩阵乘法，(2) 类似 $\mathsf{GELU}$ 和 $\mathsf{Softmax}$ 的复杂非线性激活函数。本文提出了一种新的针对 Transformer 模型的双方推理框架 $\mathsf{Nimbus}$。对于线性层，我们提出了一种新的 2PC 范式，以及一种基于外积洞察的安全计算矩阵乘法的方法，实现了相对于当前最先进 (SOTA) 协议的 $2.9\times \sim 12.5\times$ 性能提升。对于非线性层，通过对输入分布的一种新的观察，我们提出了一种低阶多项式逼近 $\mathsf{GELU}$ 和 $\mathsf{Softmax}$ 的方法，使 SOTA 多项式逼近的性能提高了 $2.9\times \sim 4.0\times$，其中我们的方案在不考虑隐私的 2PC 推理中平均准确率损失仅为 0.08\%。与当前最先进的双方推理相比，$\mathsf{Nimbus}$ 在不同的网络设置下，将 BERT 推理的端到端性能提高了 $2.7\times \sim 4.7\times$。