用于隐私保护数据生成的微分私有神经正切核
机器学习
2024-02-29 v2 密码学与安全
计算机视觉与模式识别
摘要
最大均值差异（MMD）是一种对微分私有数据生成特别有用的距离度量：当与有限维特征一起使用时，它允许我们一次性总结并私有化数据分布，可在生成器训练期间重复使用而无需进一步的隐私损失。该框架中的一个重要问题是，哪些特征有助于区分真实与合成数据分布，以及这些特征是否能让我们生成高质量的合成数据。本工作考虑使用神经正切核（NTK）的特征，更精确地说是经验 NTK（e-NTK）。我们发现，或许令人惊讶的是，未训练的 e-NTK 特征的表达能力与使用公开数据从预训练感知特征提取的特征相当。因此，我们的方法在多个表格和图像基准数据集上，相较于其他最先进（SOTA）方法改善了隐私-精度权衡，且无需依赖任何公开数据。
引用
@article{arxiv.2303.01687,
title = {Differentially Private Neural Tangent Kernels for Privacy-Preserving Data Generation},
author = {Yilin Yang and Kamil Adamczewski and Danica J. Sutherland and Xiaoxiao Li and Mijung Park},
journal= {arXiv preprint arXiv:2303.01687},
year = {2024}
}