线性化模型实现高效且鲁棒的隐私推理
机器学习
2024-02-09 v1 人工智能
密码学与安全
摘要
对数据隐私日益增长的担忧推动了客户端-服务器应用中隐私推理（PI）框架的发展，该框架同时保护数据隐私和模型知识产权。然而，所需的密码学原语带来了显著的延迟开销，限制了其广泛应用。同时，不断变化的环境要求 PI 服务对各类自然发生的和基于梯度的扰动具有鲁棒性。尽管已有若干工作专注于开发适用于 PI 的低延迟模型，但这些模型对鲁棒性的影响仍未得到探索。为此，本文提出了 RLNet，这是一类鲁棒的线性化网络，通过减少高延迟的 ReLU 操作来提升延迟性能，同时提高模型在干净和损坏图像上的性能。特别地，RLNet 模型提供了一种“三赢彩票”：使用共享掩码共享权重的架构，在干净、自然扰动和基于梯度的扰动图像上均提升了分类准确率，且其 ReLU 数量比基线模型少一个数量级以上。为了证明 RLNet 的有效性，我们在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上对 ResNet 和 WRN 模型变体进行了大量实验。实验评估表明，RLNet 可以生成 ReLU 数量减少高达 11.14 倍的模型，在干净、自然扰动和基于梯度的扰动图像上的准确率接近全 ReLU 模型。与具有相似 ReLU 预算的当前最优非鲁棒线性化模型相比，RLNet 的对抗准确率提升高达约 47%，自然扰动准确率提升高达约 16.4%，同时干净图像准确率提升高达约 1.5%。
引用
@article{arxiv.2402.05521,
title = {Linearizing Models for Efficient yet Robust Private Inference},
author = {Sreetama Sarkar and Souvik Kundu and Peter A. Beerel},
journal= {arXiv preprint arXiv:2402.05521},
year = {2024}
}