基于近似激活函数的同态加密下高精度 CNN 推理
机器学习
2020-12-03 v2 密码学与安全
机器学习
摘要
在大数据时代，基于云的机器学习即服务（MLaaS）引起了相当的关注。然而，在处理金融与医疗等敏感数据时，会出现隐私问题，因为云服务器可访问客户的原始数据。云中处理敏感数据的常用方法是同态加密，其允许在加密数据上进行计算而无需解密。以往研究通常采用低次多项式映射函数（如平方函数）进行数据分类，但该方法导致分类精度较低。本研究旨在使用同态加密的同时，提升卷积神经网络（CNN）推理处理的分类精度。我们采用一个使用四次多项式近似 Google 的 Swish 激活函数的激活函数，并采用批归一化对 Swish 函数的输入进行归一化以适配输入范围从而最小化误差。我们使用微软的 Simple Encrypted Arithmetic Library 针对 Cheon-Kim-Kim-Song（CKKS）方案实现了同态加密下的 CNN 推理标注。实验评估确认 MNIST 与 CIFAR-10 的分类精度分别为 99.22% 与 80.48%，相较以往方法分别提升了 0.04% 与 4.11%。
引用
@article{arxiv.2009.03727,
title = {Highly Accurate CNN Inference Using Approximate Activation Functions over Homomorphic Encryption},
author = {Takumi Ishiyama and Takuya Suzuki and Hayato Yamana},
journal= {arXiv preprint arXiv:2009.03727},
year = {2020}
}
备注
Accepted at 7th International Workshop on Privacy and Security of Big Data in conjunction with 2020 IEEE International Conference on Big Data (IEEE BigData 2020)