锐度感知最小化的成员隐私风险
机器学习
2026-01-29 v4 人工智能
摘要
寻求更平坦极小值的优化算法,如锐度感知最小化(SAM),被认为能改善泛化能力和对噪声的鲁棒性。我们探究此类增益是否影响成员隐私。令人惊讶的是,我们发现尽管 SAM 取得了更低的测试误差,但在多个数据集和攻击方法下,它比经典 SGD 更容易受到成员推断攻击(MIA)。这表明 SAM 改善泛化的几何机制同时加剧了成员泄露。我们通过记忆化和影响分数的广泛分析来研究这一现象。我们的结果揭示,SAM 更善于捕捉非典型子模式,导致样本的记忆化分数更高。相反,SGD 更依赖多数类特征,在非典型子组上泛化更差且记忆化更低。关键的是,SAM 的这一特性可关联到未见过样本预测置信度的更低方差,从而放大成员信号。最后,我们在完美插值的线性机制下对 SAM 建模,并从理论上证明锐度正则化本质上降低方差,保证了置信度和似然比攻击下更高的 MIA 优势。
引用
@article{arxiv.2310.00488,
title = {Membership Privacy Risks of Sharpness Aware Minimization},
author = {Young In Kim and Andrea Agiollo and Pratiksha Agrawal and Johannes O. Royset and Rajiv Khanna},
journal= {arXiv preprint arXiv:2310.00488},
year = {2026}
}
备注
accepted to iclr 2026