面向隐私合规的渲染优化稳定扩散
计算机视觉与模式识别
2024-12-10 v1
摘要
日益增长的隐私关注度和类似 GDPR 和 CCPA 这样的法规，使得保护图像数据集中身份信息的匿名化技术成为必要。然而，保持数据实用性同样至关重要。传统方法如遮挡和模糊处理会降低质量，并在人类导向的图像中模糊关键上下文。我们引入渲染优化稳定扩散（RefSD），一种结合 3D 渲染与稳定扩散的管道，使人类属性能够通过提示进行控制，同时保持姿态。与无法保留姿态的标准扩散模型相比，RefSD 在保持姿态、实现真实感和灵活属性控制之间取得平衡。与缺乏真实感和灵活属性控制的生成对抗网络（GAN）相比，RefSD 更具优势。我们还提出了 HumanGenAI，用于人类感知和实用性评估。人类感知评估揭示了 RefSD 在不同属性上的优势和不足。我们的实用性实验显示，使用 RefSD 生成的伪标识数据训练的模型在检测任务中优于使用真实数据的模型，进一步与真实数据组合使用可获得更好的性能。对于分类任务，我们持续观察到使用 RefSD 数据与真实数据组合可提升性能，确认了我们伪标识数据的实用性。
引用
@article{arxiv.2412.06248,
title = {Rendering-Refined Stable Diffusion for Privacy Compliant Synthetic Data},
author = {Kartik Patwari and David Schneider and Xiaoxiao Sun and Chen-Nee Chuah and Lingjuan Lyu and Vivek Sharma},
journal= {arXiv preprint arXiv:2412.06248},
year = {2024}
}