隐私保护的离散化脉冲神经网络
密码学与安全
2023-08-25 v1
摘要
人工智能的快速发展带来了极大的便利,但也引入了显著的安全风险。研究热点之一是在人工智能现实世界中平衡数据隐私与效用。当前的第二代人工神经网络已取得巨大进展,但某些大模型可能具有极高的计算成本。第三代神经网络 SNN(脉冲神经网络,Spiking Neural Network)通过离散脉冲信号模拟真实神经元,其序列呈现出强稀疏性,具有低能耗和高效率等优势。在本文中,我们构建了一个用于评估 SNN 同态计算的框架,称为 FHE-DiSNN,使 SNN 能够在加密数据上实现良好的预测性能。首先,得益于脉冲信号的离散特性,我们所提模型避免了离散化激活函数引入的误差。其次,通过应用自举(bootstrapping),我们设计了新的隐私保护函数 FHE-Fire 和 FHE-Reset,借此可刷新噪声,从而能够对 SNN 进行任意次数的操作评估。此外,我们在保持高准确率的同时提升了 FHE-DiSNN 的计算效率。最后,我们在 MNIST 数据集上评估了我们的模型。实验表明,隐藏层含 30 个神经元的 FHE-DiSNN 取得了 94.4% 的最低预测准确率。在最优参数下,其准确率达到 95.1%,仅比原始 SNN(95.7%)下降 0.6%。这些结果证明了 SNN 相对于第二代神经网络在同态评估上的优越性。
引用
@article{arxiv.2308.12529,
title = {Privacy-Preserving Discretized Spiking Neural Networks},
author = {Pengbo Li and Ting Gao and Huifang Huang and Jiani Cheng and Shuhong Gao and Zhigang Zeng and Jinqiao Duan},
journal= {arXiv preprint arXiv:2308.12529},
year = {2023}
}