面向成员隐私的知识交叉蒸馏
密码学与安全
2022-11-16 v3 机器学习
摘要
成员推断攻击（MIA）对机器学习模型训练数据构成隐私风险。借助 MIA，攻击者猜测目标数据是否为训练数据集的成员。针对 MIA 的当前最优防御方法——面向成员隐私的蒸馏（DMP）——不仅需要私有数据用于保护，还需要大量无标注公共数据。然而，在医学和金融等某些隐私敏感领域，公共数据的可用性无法保证。此外，正如 DMP 的作者所报告的，使用生成对抗网络生成公共数据的朴素方法会显著降低模型精度。为克服该问题，我们提出了一种无需公共数据、利用知识蒸馏抵御 MIA 的新型防御方法。我们的实验表明，在 MIA 研究中使用的基准表格数据集 Purchase100 和 Texas100 上，我们防御方法的隐私保护能力与精度可与 DMP 相媲美；并且在图像数据集 CIFAR10 上，相较于同样不使用公共数据的现有防御方法，我们的防御具有更优的隐私-效用权衡。
引用
@article{arxiv.2111.01363,
title = {Knowledge Cross-Distillation for Membership Privacy},
author = {Rishav Chourasia and Batnyam Enkhtaivan and Kunihiro Ito and Junki Mori and Isamu Teranishi and Hikaru Tsuchida},
journal= {arXiv preprint arXiv:2111.01363},
year = {2022}
}
备注
Accepted by PETS 2022