是我们的损失：非凸损失下隐藏状态DP-SGD无隐私放大
机器学习
2024-10-31 v3 密码学与安全
摘要
差分隐私随机梯度下降(DP-SGD)是一种流行的迭代算法，用于训练机器学习模型，同时正式保证用户的隐私。然而，DP-SGD的隐私分析做出了不切实际的假设，即算法的所有中间迭代(即内部状态)都被发布，因为实际上只发布最终训练好的模型，即算法的最终迭代。在这种隐藏状态设置下，先前的工作提供了更严格的分析，尽管仅限于损失函数受到约束的情况，例如强凸且光滑或线性。另一方面，从隐藏状态DP-SGD中观察到的经验隐私泄露，即使在使用非凸损失函数时，也表明理论隐私分析与实践中实现的隐私保证之间确实存在差距。因此，对于所有(可能是非凸的)损失函数，隐藏状态DP-SGD的隐私放大是否可能仍然是一个悬而未决的问题。在这项工作中，我们设计了一个反例，并从理论和经验上证明，对于所有损失函数，隐藏状态DP-SGD的隐私放大结果通常是不可能的。通过为DP-SGD精心构造一个损失函数，我们表明对于特定的损失函数，DP-SGD的最终迭代本身泄露的信息与所有迭代序列的总和一样多。此外，我们通过评估使用我们的损失函数的DP-SGD最终迭代的隐私泄露来经验性地验证这一结果，并表明这恰好与DP保证的理论上限相匹配。因此，我们表明当前DP-SGD的隐私分析对于一般损失函数是紧的，并得出结论：对于所有(可能是非凸的)损失函数，DP-SGD通常不可能实现隐私放大。
引用
@article{arxiv.2407.06496,
title = {It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss},
author = {Meenatchi Sundaram Muthu Selva Annamalai},
journal= {arXiv preprint arXiv:2407.06496},
year = {2024}
}