DP-SAPF：面向差分隐私图像合成的显著性感知参数微调
密码学与安全
2026-05-29 v1
摘要
差分隐私 (DP)图像合成生成保护敏感数据集统计特性的图像，使其能够在提供严格隐私泄露保证的前提下进行敏感数据分析和使用。现有方法通过在敏感图像上使用差分隐私随机梯度下降 (DP-SGD) 对公开模型进行全参数微调，以生成合成图像。但在敏感图像上对公开模型进行全参数微调计算成本高昂，因为当前公开模型通常包含大量参数。最近的工作提出通过在公开模型的所有注意力层参数上采用低秩适配 (LoRA) 以减少可训练参数。然而，我们认为在 DP 设置下，对所有注意力层参数进行穷尽式 LoRA 覆盖并不optimal，因为这会导致私有训练中的噪声累积和崩溃。为解决此问题，我们提出DP-SAPF，使用显著性感知策略在 DP 条件下识别特定目标参数进行 LoRA 训练。DP-SAPF灵感来自：更大的梯度意味着更高的显著性，表明这些参数是 DP 学习中最关键的。具体而言，我们将敏感图像输入公开模型，计算梯度并添加噪声以满足 DP要求，然后DP-SAPF识别最显著的参数，即在敏感图像上表现出高梯度幅值的参数，用于 DP 微调。在四个敏感图像数据集上的实验表明，DP-SAPF 在生成合成图像的实用性和保真度方面优于不进行参数选择的微调方法，同时所需计算资源更少。
引用
@article{arxiv.2605.30312,
title = {DP-SAPF: Saliency-Aware Parameter Fine-tuning of Public Models for Differentially Private Image Synthesis},
author = {Chen Gong and Kecen Li and Zinan Lin and Tianhao Wang},
journal= {arXiv preprint arXiv:2605.30312},
year = {2026}
}
备注
Accepted at Usenix Security 2026; code available at https://github.com/2019ChenGong/DP-SAPF