批量归一化放大记忆化效应与隐私风险
机器学习
2026-05-26 v1 人工智能
摘要
批量归一化(BN)广泛用于加速深度神经网络的收敛并提升训练稳定性。然而，其对隐私和记忆化的影响长期以来鲜有探讨。本文我们详细研究 BN 层对异常或离群样本记忆化的影响及其对隐私泄露的启示。我们采用三种互补方法进行广泛实证研究：(i) 对超出分布训练样本的意外记忆化，(ii) 通过梯度范数测量的逐样本影响，以及 (iii) 对成员推断攻击(MIA)的易受性。跨多个数据集和网络结构，我们一致观察到 BN 在记忆异常值方面显著高于无 BN 模型。关键的是，这种放大的记忆化直接转化为隐私漏洞：带 BN 的模型对 MIA 的易受性显著高于不带 BN 的模型。我们补充实证结果，提出理论分析表明 BN 在训练过程中放大了异常样本的单步影响，提供了这种现象的机制性解释。我们的结果凸显了 BN 所带下的隐私风险，为规范化层如何放大稀有或敏感训练样本的影响提供了实用与理论见解。
引用
@article{arxiv.2605.24420,
title = {Batch Normalization Amplifies Memorization and Privacy Risks},
author = {Ngoc Phu Doan and Chongyan Gu and Ihsen Alouani},
journal= {arXiv preprint arXiv:2605.24420},
year = {2026}
}