同态WiSARD：加密数据上的高效权重神经网络训练
密码学与安全
2024-04-01 v1 机器学习
摘要
机器学习算法的广泛应用日益引起数据隐私研究界的关注，许多研究者致力于开发隐私保护技术。在现有方法中，机器学习算法的同态评估通过在加密数据上直接执行运算，提供了强大的机密性保证。推理算法的同态评估对于甚至相对较深的卷积神经网络(CNN)也是可行的。然而，训练仍然是一个主要挑战，当前的解决方案通常采用轻量级算法，这些算法可能不适合解决更复杂的问题，如图像识别。本文介绍了Wilkie、Stonham和Aleksander识别设备(WiSARD)以及后续的无权重神经网络(WNN)在加密数据上的训练和推理的同态评估。与CNN相比，WNN在准确率下降相对较小的情况下提供了更好的性能。我们为此开发了一个完整的框架，包括几个可能具有独立价值的构建模块。我们的框架在MNIST数据集上仅经过3.5分钟的加密训练（多线程）就达到了91.7%的准确率，在3.5小时后达到93.8%。对于HAM10000数据集，我们在仅1.5分钟内达到67.9%的准确率，1小时后达到69.9%。与CNN训练的同态评估最新技术Glyph (Lou et al., NeurIPS 2020)相比，这些结果实现了高达1200倍的加速，准确率损失最多为5.4%。对于HAM10000，我们甚至实现了0.65%的准确率提升，同时比Glyph快60倍。我们还提供了小规模加密训练的解决方案。在桌面计算机的单线程上，使用不到200MB内存，我们在12分钟内训练了超过1000张MNIST图像，或在仅11秒内训练了整个威斯康星乳腺癌数据集。
引用
@article{arxiv.2403.20190,
title = {Homomorphic WiSARDs: Efficient Weightless Neural Network training over encrypted data},
author = {Leonardo Neumann and Antonio Guimarães and Diego F. Aranha and Edson Borin},
journal= {arXiv preprint arXiv:2403.20190},
year = {2024}
}