MPCFormer：基于MPC的快速、高性能私有Transformer推理
机器学习
2023-03-17 v2 密码学与安全
摘要
实现私有推理对于许多基于Transformer模型的云推理服务至关重要。然而，现有的私有推理方案可能使推理延迟增加超过60倍，或显著损害推理质量。在本文中，我们设计了MPCFORMER框架作为一种实用解决方案，使用安全多方计算（MPC）和知识蒸馏（KD）。通过大量评估，我们表明MPCFORMER在MPC设置下显著加速了Transformer推理，同时达到了与输入模型相似的机器学习性能。在IMDb数据集上，它取得了与BERTBASE相似的性能，同时快5.3倍。在GLUE基准上，它以2.2倍的加速达到了BERTBASE 97%的性能。MPCFORMER在使用不同训练好的Transformer权重（如ROBERTABASE）以及更大模型（包括BERTLarge）时仍然有效。代码可在 https://github.com/MccRee177/MPCFormer 获取。
引用
@article{arxiv.2211.01452,
title = {MPCFormer: fast, performant and private Transformer inference with MPC},
author = {Dacheng Li and Rulin Shao and Hongyi Wang and Han Guo and Eric P. Xing and Hao Zhang},
journal= {arXiv preprint arXiv:2211.01452},
year = {2023}
}