防重构保护及其在私有联邦学习中的应用

在大规模统计学习中，数据收集和模型拟合正日益转向手机、手表、健身追踪器等外围设备，而非集中式数据收集。与这种去中心化数据兴起相伴的，是在允许释放足够信息以拟合准确、有用的统计模型的同时维护隐私的日益严峻的挑战。这催生了局部隐私概念——最重要的是局部差分隐私，它针对敏感数据泄露提供强力保护——数据在统计学家或学习器观测之前即被混淆，从而为个人数据提供强力保护。然而传统意义上的局部隐私可能过于严苛而不切实际，尤其在现代高维统计与机器学习问题中。因此，我们重新审视所提供保护所针对的披露类型与 adversary（敌手），考虑具有有限先验信息的敌手，并确保以高概率使其无法在有用容差内重构个体数据。通过重新界定这些保护，我们允许更有用的数据发布——局部差分隐私中的大隐私参数——并为所有隐私级别的统计学习问题设计了新的（极小极大）最优局部差分隐私机制。由此我们提出了此前不可能实现的大规模局部私有模型训练的可行方法，并从理论与实验上表明，我们能以极小的效用损失拟合大规模图像分类与语言模型。