负面 token 合并：基于图像的对抗性特征引导
计算机视觉与模式识别
2024-12-06 v2 人工智能
图形学
机器学习
机器学习
摘要
基于负面提示的文本驱动对抗引导已成为引导扩散模型避免生成不希望出现的概念的广泛采用的方法。虽然有用，但仅使用文本进行对抗引导可能不足以捕获复杂的视觉概念或避免特定视觉元素（如版权受保护角色）。本文首次探索了这种方向上的另一模态，即通过引用图像或批处理中其他图像的视觉特征直接进行对抗引导。我们引入了负面 token 合并（NegToMe），这是一种简单而有效的训练-free 方法，通过在逆扩散过程中选择性地推开参考图像与生成图像之间匹配的视觉特征来实现对抗引导。仅通过调整所使用的参考图像，NegToMe 即可实现多样化的应用场景。值得注意的是，当使用同一批次中的其他图像作为参考时，我们发现 NegToMe 通过引导每个图像的特征远离其他图像，显著增强了输出多样性（例如种族、性别、视觉）。同样地，针对版权受保护的参考图像，NegToMe 可将视觉相似度降低 34.57%。NegToMe 只需数行代码即可实现，推理时间仅增加不足 4%，且与各种扩散架构兼容，包括不原生支持负面提示的 Flux 等。代码已在 https://negtome.github.io 提供。
引用
@article{arxiv.2412.01339,
title = {Negative Token Merging: Image-based Adversarial Feature Guidance},
author = {Jaskirat Singh and Lindsey Li and Weijia Shi and Ranjay Krishna and Yejin Choi and Pang Wei Koh and Michael F. Cohen and Stephen Gould and Liang Zheng and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2412.01339},
year = {2024}
}