SecFormer：基于 SMPC 的 Transformer 模型快速且准确的隐私保护推理

随着托管在云平台上的 Transformer 模型被越来越多地用于提供推理服务，隐私问题日益凸显，尤其是涉及投资计划和银行账户详情等敏感数据时。安全多方计算（SMPC）作为一种保护推理数据和模型参数隐私的有前途的解决方案应运而生。然而，将 SMPC 应用于 Transformer 模型的隐私保护推理（PPI）通常会导致显著的减速或性能下降。这在很大程度上是由于 Transformer 架构中存在大量非线性操作，这些操作不适合 SMPC，且难以绕过或有效优化。为了解决这个问题，我们引入了一个名为 SecFormer 的综合 PPI 框架，以实现 Transformer 模型快速且准确的 PPI。我们在不牺牲模型性能的情况下，成功消除了 PPI 中高成本的指数和最大值操作，并通过采用合适的数值计算方法开发了一套高效的 SMPC 协议，以加速 PPI 中的其他复杂非线性函数，包括 GeLU、LayerNorm 和重新设计的 Softmax。我们广泛的实验表明，SecFormer 在性能上优于 MPCFormer，对于 BERT$_{\text{BASE}}$ 和 BERT$_{\text{LARGE}}$ 分别提升了 $3.4\%$ 和 $24.7\%$。在效率方面，SecFormer 对于 BERT$_{\text{BASE}}$ 和 BERT$_{\text{LARGE}}$ 分别比 PUMA 快 3.57 和 3.58 倍，证明了其有效性和速度。