度量神经网络对独特私有特征的无意记忆
机器学习
2022-06-06 v1 人工智能
密码学与安全
摘要
神经网络由于其记忆和泄露信息的倾向，对训练数据构成隐私风险。聚焦于图像分类，我们表明神经网络还会无意中记忆独特特征，即使这些特征在训练数据中仅出现一次。独特特征的一个例子是训练图像上偶然出现的人的姓名。假设可访问已训练模型的输入与输出、训练数据的域以及独特特征的知识，我们开发了一种评分方法，通过比较给定修改后的分布外图像时模型输出分布的 KL 散度，来估计模型对独特特征的敏感度。我们的结果表明，在基准数据集（如 MNIST、Fashion-MNIST 和 CIFAR-10）上训练的多层感知机与卷积神经网络会记忆独特特征。我们发现，防止过拟合的策略（例如早停、正则化、批量归一化）并不能阻止对独特特征的记忆。这些结果意味着神经网络对极少出现的私有信息构成隐私风险。若患者信息存在于训练数据中，这些风险在医疗应用中可能更为显著。
引用
@article{arxiv.2202.08099,
title = {Measuring Unintended Memorisation of Unique Private Features in Neural Networks},
author = {John Hartley and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2202.08099},
year = {2022}
}