通过凸凹损失缓解成员推断中的隐私风险

机器学习模型容易受到成员推断攻击（MIAs），旨在推断样本是否在训练集中。现有工作利用梯度上升法增加训练数据损失方差，以缓解隐私风险。然而，针对相反方向的优化可能导致模型参数在局部极小值附近振荡，引起不稳定和次优性能。在本工作中，我们提出一种新方法——凸凹损失（Convex-Concave Loss），通过梯度下降实现训练损失分布的高方差。我们的方法源于凸损失倾向于训练期间降低损失方差的理论分析。因此，CCL 的关键思想是通过添加凹项来减少损失函数的凸性。使用 CCL 训练的神经网络会产生训练数据高方差的损失，从而加强对 MIAs 的防御。大量实验表明，CCL 的优势，实现了隐私-实用性权衡的 SOTA 水平。