标准化流是解锁指数机制的关键吗？

为隐私优化而设计的指数机制（ExpM）在连续样本空间上的使用历来被边缘化，因为它需要从一般难以处理的密度中采样，且在较小程度上需要界定目标函数的敏感度。任何差分隐私（DP）机制都可实例化为 ExpM，且 ExpM 为隐私机器学习（ML）提供了一种优雅的解决方案，可规避 DPSGD 的固有低效。本文寻求通过使用辅助标准化流（NF）——一种用于密度学习的具表达力的深度网络——来近似从 ExpM 密度中采样，从而使 ExpM 可用于隐私优化与 ML。该方法 ExpM+NF 是模型训练的 SGD 方法的替代方案。我们证明了 $\ell^2$ 损失的敏感度界，允许 ExpM 与任何采样方法一同使用。为测试可行性，我们在 MIMIC-III 健康数据上给出结果，比较（非隐私）SGD、DPSGD 与 ExpM+NF 训练方法的准确率与训练时间。我们发现从 ExpM+NF 采样的模型几乎与非隐私 SGD 一样准确，比 DPSGD 更准确，且 ExpM+NF 比 Opacus 的 DPSGD 实现训练更快。由于无法为 NF 近似提供隐私证明，我们给出实证结果以探究隐私，包括 Carlini 等人的 LiRA 成员推断攻击以及 Steinke 等人近期的隐私审计下界方法。我们的发现表明 ExpM+NF 提供比非隐私 SGD 更多的隐私，但不如 DPSGD，尽管许多攻击对任何模型均无效。本工作的附带益处包括推进 MIMIC-III 医疗数据上隐私与准确率的 SOTA、展示 ExpM+NF 用于贝叶斯推断、揭示实证隐私审计在实践中的局限性，以及提供若干适用于分布学习的隐私定理。