攻击确定性条件图像生成模型以实现多样且可控的生成

现有的基于生成对抗网络 (GAN) 的条件图像生成模型通常对相同的条件输入产生固定的输出，这对于大掩码图像修复或风格迁移等高度主观的任务而言是不合理的。另一方面，基于 GAN 的多样图像生成方法需要重新训练/微调网络或设计复杂的噪声注入函数，这计算代价高昂、任务特定，或难以生成高质量结果。鉴于许多确定性条件图像生成模型已经能够产生高质量但固定的结果，我们提出一个有趣的问题：预训练的确定性条件图像生成模型是否有可能在不改变网络结构或参数的情况下生成多样化的结果？为回答这个问题，我们从对抗攻击的视角重新审视条件图像生成任务，并提出一种简单高效的即插即用投影梯度下降 (PGD) 类方法，用于多样且可控的图像生成。其核心思想是通过向输入条件添加微小扰动来攻击预训练的确定性生成模型。通过这种方式，无需调整网络结构或微调预训练模型即可生成多样化的结果。此外，我们还可以通过根据参考文本或图像指定攻击方向来控制生成多样化的结果。我们的工作为将对抗攻击应用于底层视觉任务打开了大门，并且在各种条件图像生成任务上的实验证明了所提方法的有效性和优越性。