MPCViT：基于异构注意力搜索精确且高效的MPC友好视觉Transformer
密码学与安全
2023-08-22 v3 机器学习
摘要
安全多方计算(MPC)可直接在加密数据上进行计算，并在深度学习推理中保护数据与模型隐私。然而，现有神经网络架构（包括视觉Transformer(ViT)）并非为MPC设计或优化，会带来显著的延迟开销。我们观察到Softmax因高通信复杂度而成为主要延迟瓶颈，但可有选择地替换或线性化而不损害模型精度。因此，本文提出一种MPC友好的ViT，称为MPCViT，以在MPC中实现精确且高效的ViT推理。基于对Softmax注意力及其他注意力变体的系统性延迟与精度评估，我们提出一种异构注意力优化空间。我们还开发了一种简单而有效的MPC感知神经架构搜索算法用于快速帕累托(Pareto)优化。为进一步提升推理效率，我们提出MPCViT+，联合优化Softmax注意力与其他网络组件，包括GeLU、矩阵乘法等。大量实验表明，在Tiny-ImageNet数据集上，相比基线ViT、MPCFormer和THE-X，MPCViT分别以6.2倍、2.9倍和1.9倍延迟降低实现了1.9%、1.3%和3.6%的更高精度。MPCViT+相比MPCViT取得了更好的帕累托前沿。用于评估的代码与模型见 https://github.com/PKU-SEC-Lab/mpcvit。
引用
@article{arxiv.2211.13955,
title = {MPCViT: Searching for Accurate and Efficient MPC-Friendly Vision Transformer with Heterogeneous Attention},
author = {Wenxuan Zeng and Meng Li and Wenjie Xiong and Tong Tong and Wen-jie Lu and Jin Tan and Runsheng Wang and Ru Huang},
journal= {arXiv preprint arXiv:2211.13955},
year = {2023}
}
备注
Accepted by ICCV 2023 conference