从超参数视角探究机器学习隐私/效用权衡
机器学习
2023-03-06 v1 密码学与安全
计算机视觉与模式识别
摘要
机器学习（ML）架构已应用于多个涉及敏感数据的场景，这些场景需要用户数据隐私的保障。差分隐私随机梯度下降（DPSGD）是训练隐私保护模型的最先进方法。然而，DPSGD 带来显著的准确率损失，导致次优的隐私/效用权衡。为探寻更好的隐私/效用权衡的新途径，本工作探究：（i）模型的超参数是否对 ML 模型的隐私保护特性有任何内在影响；（ii）模型的超参数是否对差分隐私模型的隐私/效用权衡有任何影响。我们提出对激活函数选择、学习率和批归一化使用等不同超参数的综合设计空间探索。有趣的是，我们发现使用有界 RELU 作为激活函数可在相同隐私保护特性下提升效用。通过直接替换激活函数，我们在 MNIST（96.02%）、FashionMnist（84.76%）和 CIFAR-10（44.42%）上取得了新的最先进准确率，且无需对 DPSGD 学习过程的基本原理做任何修改。
引用
@article{arxiv.2303.01819,
title = {Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens},
author = {Ayoub Arous and Amira Guesmi and Muhammad Abdullah Hanif and Ihsen Alouani and Muhammad Shafique},
journal= {arXiv preprint arXiv:2303.01819},
year = {2023}
}