微调文本到图像扩散模型以生成类内虚假特征
计算机视觉与模式识别
2024-02-14 v1
摘要
我们提出了一种利用大规模文本到图像扩散模型生成虚假特征的方法。尽管先前的工作在 ImageNet 等大规模数据集中检测虚假特征并引入了 Spurious ImageNet，但我们发现并非所有虚假图像在不同的分类器中都是虚假的。尽管虚假图像有助于衡量分类器的依赖性，但从互联网上筛选大量图像以寻找更多虚假特征非常耗时。为此，我们利用现有的方法，使用已发现的虚假图像对大规模文本到图像扩散模型进行个性化处理，并提出了一种基于对抗鲁棒模型神经特征的新型虚假特征相似性损失。具体而言，我们使用来自 Spurious ImageNet 的几幅参考图像微调 Stable Diffusion，并在修改后的目标函数中结合了所提出的虚假特征相似性损失。实验结果表明，我们的方法能够生成在不同分类器中均表现出一致虚假性的虚假图像。此外，生成的虚假图像在视觉上与 Spurious ImageNet 中的参考图像相似。
引用
@article{arxiv.2402.08200,
title = {Fine-Tuning Text-To-Image Diffusion Models for Class-Wise Spurious Feature Generation},
author = {AprilPyone MaungMaung and Huy H. Nguyen and Hitoshi Kiya and Isao Echizen},
journal= {arXiv preprint arXiv:2402.08200},
year = {2024}
}