基于块循环变换的高效私有推理 PrivCirNet

基于同态加密（HE）的深度神经网络（DNN）推理能够保护数据与模型隐私，但面临显著的计算开销。我们发现，将 DNN 权重转换为循环矩阵可将一般的矩阵-向量乘法转化为 HE 友好的一维卷积，从而显著降低 HE 计算成本。因此，本文提出了一种基于块循环变换的协议/网络共优化框架 PrivCirNet。 在协议层面，PrivCirNet 定制了与块循环变换完全兼容的 HE 编码算法，并根据块大小降低计算延迟。在网络层面，我们提出了基于二阶信息的时延感知公式，以搜索每层的块大小分配。PrivCirNet 还利用层融合进一步降低推理成本。我们将 PrivCirNet 与 IEEE S&P 2024 年的领先框架 Bolt 以及 ICML 2023 年的 HE 友好剪枝方法 SpENCNN 进行比较。对于 ResNet-18 和 Tiny ImageNet 上的 Vision Transformer（ViT），PrivCirNet 在 Bolt 基础上分别实现了 $5.0\times$ 和 $1.3\times$ 的延迟降低，同时保持等效精度；相较于 SpENCNN，分别实现了 $4.1\%$ 和 $12\%$ 的精度提升。对于 MobileNetV2 在 ImageNet 上的结果，PrivCirNet 相较于 Bolt 和 SpENCNN 分别实现了 $1.7\times$ 的延迟降低和 $4.2\%$ 的精度提升。我们的代码和模型检查点已在 GitHub 上开源。