ProTIP: 面向随机扰动的文本到图像扩散模型的概率鲁棒性验证
计算机视觉与模式识别
2024-07-16 v2 人工智能
机器学习
摘要
文本到图像（T2I）扩散模型（DM）在基于简单文本描述生成高质量图像方面展现了令人印象深刻的能力。然而，与许多深度学习（DL）模型一样，DM 缺乏鲁棒性。尽管已有尝试将 T2I DM 的鲁棒性评估视为二元或最坏情况问题，但当可以找到对抗样本（AE）时，它们无法回答模型总体上有多鲁棒。在本研究中，我们首先引入了 T2I DM 鲁棒性的概率概念；然后建立了一个高效框架 ProTIP，以统计保证的方式对其进行评估。主要挑战源于：i）生成过程的高计算成本；ii）确定扰动输入是否为 AE 涉及比较两个输出分布，这本质上比分类等其他 DL 任务更难，因为在分类中 AE 是通过标签错误预测来识别的。为了应对这些挑战，我们在识别 AE 的统计检验中采用了带有有效性和无效性早期停止规则的序贯分析，以及自适应浓度不等式，以便在达到验证目标时动态确定“恰到好处”的随机扰动数量。实验验证了 ProTIP 在常见 T2I DM 上的有效性和效率。最后，我们展示了 ProTIP 在常用防御方法排序中的应用。
引用
@article{arxiv.2402.15429,
title = {ProTIP: Probabilistic Robustness Verification on Text-to-Image Diffusion Models against Stochastic Perturbation},
author = {Yi Zhang and Yun Tang and Wenjie Ruan and Xiaowei Huang and Siddartha Khastgir and Paul Jennings and Xingyu Zhao},
journal= {arXiv preprint arXiv:2402.15429},
year = {2024}
}
备注
Accepted by ECCV24