通过知识迁移实现机器学习模型的成员隐私
机器学习
2021-01-01 v3 机器学习
摘要
大容量机器学习（ML）模型易受成员推断攻击（MIAs）的威胁，此类攻击旨在推断目标样本是否为目标模型训练数据集的成员。由成员推断引起的严重隐私问题已促使多种针对 MIA 的防御方法，例如差分隐私和对抗正则化。遗憾的是，这些防御产生的 ML 模型分类性能低得不可接受。我们的工作提出了一种称为面向成员隐私的蒸馏（DMP）的新型防御，以显著优于先前防御的方式保持所得模型的效用。DMP 利用知识蒸馏来训练具有成员隐私的 ML 模型。我们提供了一种新颖准则来调整用于知识迁移的数据，以放大 DMP 的成员隐私。我们广泛的评估表明，与最先进的 MIA 防御相比，DMP 在成员隐私和分类准确率之间提供了显著更好的权衡。例如，在 CIFAR100 上训练的 DenseNet 对于相似的成员隐私（使用 MIA 风险度量），DMP 相比对抗正则化实现了约 100% 的准确率提升：当 MIA 风险为 53.7% 时，对抗正则化的 DenseNet 准确率为 33.6%，而 DMP 训练的 DenseNet 准确率为 65.3%。
引用
@article{arxiv.1906.06589,
title = {Membership Privacy for Machine Learning Models Through Knowledge Transfer},
author = {Virat Shejwalkar and Amir Houmansadr},
journal= {arXiv preprint arXiv:1906.06589},
year = {2021}
}
备注
To Appear in the 35th AAAI Conference on Artificial Intelligence, 2021