CryptoNite：揭示大规模端到端隐私推理的陷阱

将深度学习推理作为服务提供的隐私问题，凸显了使用密码学方法保护用户数据和服务提供商模型的隐私推理（PI）协议的需求。最近提出的 PI 协议通过将计算量大的同态加密（HE）部分移至离线/预计算阶段，实现了 PI 延迟的显著降低。结合针对 PI 量身定制的最新网络优化，这些协议达到了极其接近实用的性能水平。在本文中，我们对 PI 协议和优化技术进行了严格的端到端表征，发现目前对 PI 性能的理解过于乐观。具体而言，我们发现乱码电路（GC）——PI 中使用的一种关键密码学协议——在用户/客户端设备上的离线存储成本过高，迫使大量昂贵的离线 HE 计算转移至在线阶段，导致 PI 延迟增加 10-1000$\times$。我们提出了一种改进的 PI 协议，该协议在在线延迟略微增加的情况下，显著降低了客户端的存储成本。从端到端评估来看，该改进协议在 TinyImageNet 上的 ResNet18 模型中将平均 PI 延迟降低了 $4\times$，优于当前协议。最后，我们结合这些发现讨论了几种最近提出的 PI 优化，并指出从端到端视角评估时，许多优化实际上反而增加了 PI 延迟。