通过噪声聚合嵌入实现扩散模型的差分隐私适配
计算机视觉与模式识别
2026-02-10 v4 密码学与安全
机器学习
摘要
个性化大规模扩散模型会带来严重的隐私风险，尤其是在适配小型敏感数据集时。一种常见的方法是使用差分隐私随机梯度下降（DP-SGD）对模型进行微调，但由于隐私所需的高噪声，尤其是在小数据场景下，这会导致严重的效用下降。我们提出了一种替代方案，利用文本反演（TI）——它为单个图像或一组图像学习一个嵌入向量——来实现在差分隐私（DP）约束下的适配。我们的方法，即通过文本反演进行差分隐私聚合（DPAgg-TI），向每个图像的嵌入聚合中添加校准噪声，以确保形式化的DP保证，同时保持高输出保真度。我们证明，在相同的隐私预算下，DPAgg-TI在效用和鲁棒性方面均优于DP-SGD微调，在使用单个艺术家的私人艺术品和巴黎2024奥运会象形图进行风格适配任务时，其结果与非隐私基线紧密匹配。相比之下，DP-SGD在此设置下无法生成有意义的输出。
引用
@article{arxiv.2411.14639,
title = {Differentially Private Adaptation of Diffusion Models via Noisy Aggregated Embeddings},
author = {Pura Peetathawatchai and Wei-Ning Chen and Berivan Isik and Sanmi Koyejo and Albert No},
journal= {arXiv preprint arXiv:2411.14639},
year = {2026}
}