Ditto：基于 MPC 的 Transformer 量化感知安全推理
密码学与安全
2024-05-10 v1 机器学习
摘要
由于对敏感客户数据和 Transformer 等已训练模型的隐私担忧日益增加，人们采用安全多方计算（MPC）技术来实现安全推理，尽管这会带来额外开销。现有工作试图通过使用对 MPC 更友好的非线性函数近似来减少开销。然而，将明文推理中广泛使用的量化集成到 MPC 领域仍不明确。为了弥合这一差距，我们提出了名为 Ditto 的框架，以实现更高效的量化感知安全 Transformer 推理。具体而言，我们首先将 MPC 友好的量化纳入 Transformer 推理，并采用量化感知蒸馏过程来维持模型效用。然后，我们提出了新颖的 MPC 原语以支持量化中必不可少的类型转换，并实现了安全量化推理的量化感知 MPC 执行。这种方法显著降低了计算和通信开销，从而提高了整体效率。我们在 Bert 和 GPT2 模型上进行了大量实验以评估 Ditto 的性能。结果表明，Ditto 比 MPCFormer (ICLR 2023) 快约 ，比最先进的 PUMA 快 ，且效用下降可忽略不计。
引用
@article{arxiv.2405.05525,
title = {Ditto: Quantization-aware Secure Inference of Transformers upon MPC},
author = {Haoqi Wu and Wenjing Fang and Yancheng Zheng and Junming Ma and Jin Tan and Yinggui Wang and Lei Wang},
journal= {arXiv preprint arXiv:2405.05525},
year = {2024}
}
备注
to be published in ICML 2024