Anti-DreamBooth：保护用户免受个性化文本到图像合成之害
计算机视觉与模式识别
2023-10-23 v2 密码学与安全
机器学习
摘要
文本到图像扩散模型堪称一场革命，使任何人——即便没有设计技能——也能从简单文本输入创建逼真图像。借助 DreamBooth 等强大的个性化工具，它们仅需从某人的少量参考图像中学习，便可生成该特定人物的图像。然而，当被滥用时，这样一种强大而便捷的工具可产生针对任何个体受害者的假新闻或令人不安的内容，带来严重的负面社会影响。本文探讨一种称为 Anti-DreamBooth 的防御系统，以抵御 DreamBooth 的此类恶意使用。该系统旨在发布前为每位用户的图像添加细微噪声扰动，以破坏基于这些扰动图像训练的任何 DreamBooth 模型的生成质量。我们研究了一系列扰动优化算法，并在两个面部数据集上针对多种文本到图像模型版本进行了广泛评估。尽管 DreamBooth 和基于扩散的文本到图像模型的公式复杂，我们的方法仍有效防御用户免受这些模型的恶意使用。其有效性甚至在不利条件下也经得住考验，例如训练与测试间的模型或提示/术语不匹配。我们的代码将发布于 https://github.com/VinAIResearch/Anti-DreamBooth.git。
引用
@article{arxiv.2303.15433,
title = {Anti-DreamBooth: Protecting users from personalized text-to-image synthesis},
author = {Thanh Van Le and Hao Phung and Thuan Hoang Nguyen and Quan Dao and Ngoc Tran and Anh Tran},
journal= {arXiv preprint arXiv:2303.15433},
year = {2023}
}
备注
Accepted to ICCV 2023. Project page: https://anti-dreambooth.github.io/