深度迁移学习中成员推理攻击的实证比较
机器学习
2025-10-09 v2 密码学与安全
摘要
随着强大规模基础模型的出现，训练范式正日益从从零开始训练转向迁移学习。这使得在敏感应用中典型的小型、特定领域数据集上能够实现高效用训练。成员推理攻击（MIA）为机器学习模型的隐私泄露提供了经验估计。然而，先前对针对通过迁移学习微调的模型的 MIA 评估仅依赖于可能攻击的一小部分。我们通过比较迁移学习设置下多种 MIA 的性能来解决这一问题，以帮助从业者识别用于隐私风险评估的最有效攻击。我们发现，对于基于分数的 MIA，攻击效力随着训练数据的增加而降低。我们发现，没有单一的 MIA 能够捕获通过迁移学习训练的模型中的所有隐私风险。虽然似然比攻击在大多数实验场景中表现出优越的性能，但逆 Hessian 攻击在针对 PatchCamelyon 数据集上微调的模型的高数据量场景中更为有效。
引用
@article{arxiv.2510.05753,
title = {Empirical Comparison of Membership Inference Attacks in Deep Transfer Learning},
author = {Yuxuan Bai and Gauri Pradhan and Marlon Tobaben and Antti Honkela},
journal= {arXiv preprint arXiv:2510.05753},
year = {2025}
}
备注
30 pages, 13 figures, published in TMLR https://openreview.net/forum?id=UligTUCgdt