神经网络中对唯一特征的无意记忆
机器学习
2022-05-23 v1 计算机视觉与模式识别
摘要
神经网络由于其记忆和泄露训练数据的倾向而带来隐私风险。我们表明，在基准成像数据集上训练的判别式多层感知机和卷积神经网络会记忆训练数据中仅出现一次的唯一特征。我们设计的方法适用于敏感训练数据不可用的场景，例如医学成像。我们的场景知道唯一特征，但不知道训练数据、模型权重或该唯一特征的标签。我们开发了一种通过比较多分布外图像下模型输出分布的KL散度来估计模型对唯一特征敏感度的分数。我们发现，典型的防止过拟合的策略并不能阻止唯一特征记忆。并且包含唯一特征的图像具有高度影响力，无论图像其他特征的影响力如何。我们还发现记忆随训练种子有显著变化。这些结果表明神经网络对极少出现的私有信息构成隐私风险。由于敏感患者信息在不完善的数据清洗过程中残留在训练数据中时可能被记忆，该风险在医疗应用中更为突出。
引用
@article{arxiv.2205.10079,
title = {Unintended memorisation of unique features in neural networks},
author = {John Hartley and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2205.10079},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2202.08099