从真实世界模型中重建训练数据：针对使用迁移学习训练的模型
机器学习
2024-07-23 v1 人工智能
密码学与安全
计算机视觉与模式识别
摘要
当前用于从训练好的分类器重建训练数据的技术受限于模型规模小、训练集大小有限以及低分辨率图像，从而限制了其在实际场景中的应用。本文提出了一种新方法，使其能够在真实世界环境下对高分辨率图像上训练的模型进行数据重建。我们将 arXiv:2206.07758 的重建方案适用于实际场景——具体而言，是针对使用像 DINO-ViT 和 CLIP 等大型预训练模型的图像嵌入进行迁移学习训练的模型。我们的工作在嵌入空间中进行数据重建，而非图像空间，从而展现了其在视觉数据之外的适用性。此外，我们引入了一种基于聚类的新方法，用于从数千个候选重建结果中识别出优质重建。相比依赖对训练集了解即可识别优质重建图像的前述工作，本方法显著提升了重建质量。我们的发现揭示了使用迁移学习训练的模型可能存在的数据泄露隐私风险。
引用
@article{arxiv.2407.15845,
title = {Reconstructing Training Data From Real World Models Trained with Transfer Learning},
author = {Yakir Oz and Gilad Yehudai and Gal Vardi and Itai Antebi and Michal Irani and Niv Haim},
journal= {arXiv preprint arXiv:2407.15845},
year = {2024}
}