利用模型引导从个性化扩散模型中提取训练数据的策略
计算机视觉与模式识别
2025-09-29 v3 人工智能
机器学习
摘要
扩散模型（Diffusion Models, DMs）已成为强大的图像生成工具，尤其在few-shot fine-tuning中，通过在小型图像集上微调预训练模型以捕获特定风格或对象。许多人将这些个性化检查点上传至在线平台，促进了Civitai和 HuggingFace等社区的发展。然而，模型所有者在公开发布微调检查点时可能忽视数据泄露风险。此外，围绕未经授权使用数据进行微调而引发的版权争议也引起广泛关注。本文提出了一个问题："能否从这些在线共享的微调扩散模型中提取训练数据？"成功的提取不仅会呈现数据泄露风险，还能提供版权侵权的实质性证据。为此，我们提出FineXtract框架，用于提取微调数据。该方法将微调建模为从原始预训练DM向微调数据分布平滑迁移的过程。通过对模型在微调前后进行外推，我们引导生成过程朝向微调数据分布中高概率区域。随后，我们应用聚类算法从这些由外推引导生成的图像中提取最可能的图像。针对包括 WikiArt、DreamBooth 和在线发布的真实检查点的微调数据集进行实验，验证了该方法的有效性，大多数情况下可提取约 20% 的微调数据。代码已公开 https://github.com/Nicholas0228/FineXtract。
引用
@article{arxiv.2410.03039,
title = {Leveraging Model Guidance to Extract Training Data from Personalized Diffusion Models},
author = {Xiaoyu Wu and Jiaru Zhang and Zhiwei Steven Wu},
journal= {arXiv preprint arXiv:2410.03039},
year = {2025}
}
备注
Accepted at the International Conference on Machine Learning (ICML) 2025