分布外泛化与机器学习模型隐私性之间的联系
机器学习
2021-10-08 v1 人工智能
密码学与安全
摘要
以泛化到分布外（OOD）数据为目标，近期的域泛化方法旨在学习“稳定”的特征表示，其对输出的影响在各域间保持不变。鉴于泛化与隐私之间的理论联系，我们探究更好的 OOD 泛化是否会给机器学习模型带来更好的隐私性，其中隐私性通过针对成员推断（MI）攻击的鲁棒性来衡量。总体而言，我们发现该关系并不成立。通过对合成数据集及 MNIST、Fashion-MNIST 和胸部 X 光等图像数据集的广泛评估，我们表明更小的 OOD 泛化差距并不意味着对 MI 攻击更好的鲁棒性。相反，隐私收益取决于模型捕获稳定特征的程度。捕获了稳定特征的模型比那些具有更好 OOD 泛化但未学习稳定特征的模型对 MI 攻击更鲁棒。此外，在相同的可证明差分隐私保证下，学习稳定特征的模型相比其他模型提供更高的效用。我们的结果提供了首个连接稳定特征与隐私的广泛实证研究，并对域泛化领域给出一个启示：MI 攻击可用作衡量模型质量的补充指标。
引用
@article{arxiv.2110.03369,
title = {The Connection between Out-of-Distribution Generalization and Privacy of ML Models},
author = {Divyat Mahajan and Shruti Tople and Amit Sharma},
journal= {arXiv preprint arXiv:2110.03369},
year = {2021}
}
备注
Prior version accepted at Workshop on Privacy Preserving Machine Learning, NeurIPS 2020. Code: https://github.com/microsoft/robustdg