机器学习隐私防御的评估存在误导性

机器学习隐私防御放弃差分隐私的可形式化保证，以期在抵御现实对手的同时实现更高的实用性。我们指出现有基于成员推断攻击的经验性隐私评估方法存在严重缺陷，导致误导性结论。特别是，我们表明，先前的评估未能刻画最易泄露样本的隐私泄露，使用的攻击手段较弱，且回避与实际差分隐私基准的比较。在5项经验性隐私防御案例研究中，我们发现先前的评估低估了隐私泄露，低估了一个数量级。我们采用更强的评估方法后，发现所研究的任何经验性防御方法都不及一个经过恰当调优、具备高实用性的DP-SGD基准（尽管其具有空洞的可形式化保证）。