正则化下维度祝福在成员推断中的体现

过参数化是隐私负担吗?在本工作中,我们研究参数数量对分类器易受成员推断攻击程度的影响。我们首先展示模型参数数量如何引发隐私—效用权衡:增加参数数量通常以更低隐私为代价提升泛化性能。然而,引人注目的是,我们随后表明如果配合适当正则化,增加模型参数数量实际上可同时提升其隐私和性能,从而消除隐私—效用权衡。理论上,我们在双层特征集成设定下针对带岭正则化的逻辑回归展示这一奇特现象。遵循理论探索,我们开发了一种新颖的留一法分析工具,以精确刻画线性分类器对最优成员推断攻击的脆弱性。我们通过使用早停作为正则化器,在多种任务上以神经网络实证展示了这一“维度祝福”。