SecretGen：基于分布判别的预训练模型隐私恢复
机器学习
2022-07-26 v1 密码学与安全
摘要
通过使用预训练模型的迁移学习已成为机器学习社区中日益增长的趋势。因此，大量预训练模型被发布到网上以促进进一步研究。然而，这引发了广泛担忧：这些预训练模型是否会泄露其训练数据中的隐私敏感信息。因此，在这项工作中，我们旨在回答以下问题：“我们能否从这些预训练模型中有效恢复隐私信息？检索此类敏感信息的充分条件是什么？”我们首先探索了不同的统计信息，这些信息可以区分私有训练分布与其他分布。基于我们的观察，我们提出了一种新颖的私有数据重建框架 SecretGen，以有效恢复隐私信息。与先前需要以目标恢复实例的真实预测作为前提才能恢复私有数据的方法相比，SecretGen 不需要此类先验知识，使其更具实用性。我们在不同数据集和多种场景下进行了大量实验，将 SecretGen 与其他基线进行比较，并提供了一个系统性基准以更好地理解不同辅助信息和优化操作的影响。我们表明，在无需真实类别预测先验知识的情况下，SecretGen 能够取得与利用此类先验知识的方法相似的恢复性能。若给定先验知识，SecretGen 将显著优于基线方法。我们还提出了若干量化指标来进一步量化预训练模型的隐私脆弱性，这将有助于隐私敏感应用中的模型选择。我们的代码可在 https://github.com/AI-secure/SecretGen 获取。
引用
@article{arxiv.2207.12263,
title = {SecretGen: Privacy Recovery on Pre-Trained Models via Distribution Discrimination},
author = {Zhuowen Yuan and Fan Wu and Yunhui Long and Chaowei Xiao and Bo Li},
journal= {arXiv preprint arXiv:2207.12263},
year = {2022}
}