RAPID：检索增强的差分隐私扩散模型训练
密码学与安全
2025-02-19 v1 计算机视觉与模式识别
机器学习
摘要
差分隐私扩散模型（DPDMs）利用扩散模型的卓越生成能力，同时对敏感数据实施差分隐私（DP）。然而，现有的DPDM训练方法常因实用性使用受限，包括显著的效用损失、巨大的内存占用以及高昂的推理成本。为克服这些限制，我们提出了RAPID：检索增强的差分隐私扩散模型（Retrieval Augmented PrIvate Diffusion model），一种新颖的方法，将检索增强生成（RAG）集成到DPDM训练中。具体而言，RAPID利用可用公共数据构建样本轨迹知识库；在对私有数据训练扩散模型时，RAPID将早期采样步骤计算为查询，从知识库检索相似轨迹作为替代品，并以差分隐私方式专注于后续采样步骤的训练。基于基准数据集和模型的广泛评估表明，在相同隐私保证下，RAPID在生成质量、内存占用和推理成本方面均显著优于最新方法，表明检索增强的DP训练代表了开发未来隐私保护生成模型的有前景的方向。代码已公开：https://github.com/TanqiuJiang/RAPID
引用
@article{arxiv.2502.12794,
title = {RAPID: Retrieval Augmented Training of Differentially Private Diffusion Models},
author = {Tanqiu Jiang and Changjiang Li and Fenglong Ma and Ting Wang},
journal= {arXiv preprint arXiv:2502.12794},
year = {2025}
}
备注
Published in ICLR 2025