EQO：基于Winograd协议与量化协同优化探索超高效隐私推理
密码学与安全
2024-04-16 v1
摘要
基于安全两方计算 (2PC) 的隐私卷积神经网络 (CNN) 推理存在高通信和延迟开销问题，尤其是来自卷积层的开销。在本文中，我们提出了EQO，一个联合优化CNNs和2PC协议的量化2PC推理框架。EQO的特点在于一种新颖的2PC协议，该协议将Winograd变换与量化相结合以实现高效的卷积计算。然而，我们观察到简单地将量化与Winograd卷积结合是次优的：Winograd变换引入了大量局部加法和权重离群点，这增加了量化位宽并需要频繁的位宽转换，从而产生不可忽略的通信开销。因此，在协议层面，我们提出了一系列针对2PC推理图的优化以最小化通信。在网络层面，我们开发了一种基于敏感度的混合精度量化算法，以在通信约束下优化网络精度。我们进一步提出了一种对2PC友好的位重加权算法，以在不增加位宽的情况下适应权重离群点。通过大量实验，EQO与SOTA框架SiRNN、COINN和CoPriv相比，分别实现了11.7倍、3.6倍和6.3倍的通信减少，且准确率分别提高了1.29%、1.16%和1.29%。
关键词
引用
@article{arxiv.2404.09404,
title = {EQO: Exploring Ultra-Efficient Private Inference with Winograd-Based Protocol and Quantization Co-Optimization},
author = {Wenxuan Zeng and Tianshi Xu and Meng Li and Runsheng Wang},
journal= {arXiv preprint arXiv:2404.09404},
year = {2024}
}