面向隐私保护与可验证 ReLU 网络的多项式近似
机器学习
2024-02-07 v4 密码学与安全
信息论
math.IT
摘要
将深度神经网络（DNNs）推理任务外包给不可信云会引发数据隐私与完整性问题。虽然有许多技术可保障基于多项式计算的隐私与完整性，但 DNNs 涉及非多项式计算。为应对这些挑战，已有若干基于将整流线性单元（ReLU）函数等非多项式激活函数替换为多项式激活函数的隐私保护与可验证推理技术被提出。此类技术通常要求具有整数系数的多项式或有限域上的多项式。受此类需求驱动，若干工作提出用平方函数替换 ReLU 函数。本工作中，我们经验性地表明，即便将多项式限制为整数系数，平方函数也并非能替换 ReLU 函数的最佳二阶多项式。我们转而提出一种带一阶项的二阶多项式激活函数，并经验性地表明其可带来更优模型。我们在 CIFAR 与 Tiny ImageNet 数据集上基于 VGG-16 等多种架构的实验显示，相较平方函数，我们所提函数将测试准确率最高提升 10.4%。
引用
@article{arxiv.2011.05530,
title = {On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks},
author = {Ramy E. Ali and Jinhyun So and A. Salman Avestimehr},
journal= {arXiv preprint arXiv:2011.05530},
year = {2024}
}