TeleSparse：面向实用主义的深度神经网络隐私保护验证
摘要
深度学习推理完整性的验证对于理解模型是否被正确应用至关重要。然而，这类验证通常需要获取模型权重和（可能涉及敏感或私有）训练数据。所谓零知识简洁非交互式知识论证（Zero-knowledge Succinct Non-Interactive Arguments of Knowledge, ZK-SNARKs）看似能够在获取此类敏感数据的情况下验证模型推理。然而，将 ZK-SNARKs 应用于变换器和大型视觉模型等现代神经网络会引入显著的计算开销。我们提出了 TeleSparse，一种 ZK-friendly 的后处理机制，用于解决此问题。TeleSparse 解决了将 ZK-SNARKs 应用于现代神经网络所固有的两个根本性挑战：（1）减少电路约束：超参数化模型会导致大量 ZK-SNARK 验证约束，从而增加内存和证明生成成本。我们通过对神经网络模型应用稀疏化来解决此问题，在不损害准确性或安全性的前提下，提升证明效率。（2）最小化非线性函数所需查找表的大小，通过神经遥测技术优化激活范围，从而缩小激活函数的取值范围。TeleSparse 在相同模型下将 prover 内存使用降低 67%，证明生成时间降低 46%，准确率权衡约为 1%。我们使用 Halo2 证明系统实现了该框架，并在多个架构（Vision-transformer、ResNet、MobileNet）和数据集（ImageNet、CIFAR-10、CIFAR-100）上展示了其有效性。本工作为 ZK-friendly 模型设计开辟了新的方向，朝着可扩展、资源高效的可验证深度学习迈进。
关键词
引用
@article{arxiv.2504.19274,
title = {TeleSparse: Practical Privacy-Preserving Verification of Deep Neural Networks},
author = {Mohammad M Maheri and Hamed Haddadi and Alex Davidson},
journal= {arXiv preprint arXiv:2504.19274},
year = {2025}
}
备注
This paper has been accepted to the Privacy Enhancing Technologies Symposium (PETS) 2025