EmoAttack：基于情感到图像扩散模型的情感后门生成
计算机视觉与模式识别
2025-10-31 v3
摘要
文本到图像扩散模型可基于文本输入生成逼真的图像，使用户能够通过语言直观地表达意见。同时，在语言中，情感在我们日常生活中发挥着表达个人意见的关键作用，恶意负面内容的包含会误导用户并加剧负面情感。鉴于扩散模型的成功以及情感的重要性，我们调查了文本到图像扩散模型的一个被忽视的风险，即利用输入文本中的情感来引入负面内容并诱发不利情感。具体而言，我们识别了一种新的后门攻击，即情感感知后门攻击（EmoAttack），其在图像生成期间通过情感文本引入包含恶意负面内容。我们将此类攻击表述为扩散个性化问题，以避免大规模模型再训练，我们提出了 EmoBooth。不同于现有个性化方法，我们的方法通过在情感词汇簇与包含恶意负面内容的参考图像之间建立映射，来微调预训练扩散模型。为验证我们方法的有效性，我们构建了一个数据集并对其有效性进行了广泛分析与讨论。鉴于消费者广泛使用扩散模型，揭示这一威胁对社会至关重要。
引用
@article{arxiv.2406.15863,
title = {EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation},
author = {Tianyu Wei and Shanmin Pang and Qi Guo and Yizhuo Ma and Xiaofeng Cao and Qing Guo},
journal= {arXiv preprint arXiv:2406.15863},
year = {2025}
}