基于神经正切核与数据集蒸馏的重构攻击研究
机器学习
2023-11-13 v2 人工智能
神经与进化计算
机器学习
摘要
现代深度学习需要大量数据，其中可能包含不能泄露的敏感或私有信息。近期工作表明，对于同构神经网络，仅通过访问训练好的网络参数即可重构出大部分训练数据。尽管该攻击已被实证证明有效，但对其有效 regime 内哪些数据点易受重构影响尚缺乏形式化理解。本文中，我们首先构建了更强版本的数据集重构攻击，并展示它如何在无限宽度 regime 下可证明地恢复整个训练集。随后我们通过实验研究了该攻击在两层网络上的特征，揭示其成功严重依赖于与冻结的无限宽度神经正切核极限的偏离。接着，我们研究了易重构图像的性质。我们从理论与实验上表明，重构图像倾向于数据集中的“离群点”，且这些重构攻击可用于数据集蒸馏，即我们可以在重构图像上重新训练并获得较高的预测精度。
引用
@article{arxiv.2302.01428,
title = {Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation},
author = {Noel Loo and Ramin Hasani and Mathias Lechner and Alexander Amini and Daniela Rus},
journal= {arXiv preprint arXiv:2302.01428},
year = {2023}
}