持续深度伪造检测的条件提示优化

生成模型的快速发展显著提升了数字内容创作的真实感和定制化能力。这些工具日益强大的功能及其易用性推动了逼真虚假内容（即深度伪造）的创作，这引发了对其潜在滥用的重大担忧。作为回应，开发用于识别这些先进系统生成内容的检测机制取得了显著进展。然而，现有方法往往难以适应持续演变的深度伪造生成格局。本文提出了 Prompt2Guard，一个用于图像持续深度伪造检测的无需示例新方案，它利用视觉-语言模型 (VLMs) 和领域特定的多模态提示。与之前要么受限于提示选择准确性要么需要多次前向传播的 VLM 基方法不同，我们利用只读提示的预测集成技术。只读提示不与 VLMs 内部表示交互，从而减少了多次前向传播的需求。因此，我们提高了检测生成内容的效率和准确性。此外，我们的方法利用了针对深度伪造检测定制的文本提示条件，我们证明这在我们的设定中是有益的。我们在 CDDB-Hard 上评估了 Prompt2Guard，这是一个由五个跨越多个领域和生成器的深度伪造检测数据集组成的持续深度伪造检测基准，达到了新的最先进水平。此外，我们的结果强调了我们的方法在应对持续深度伪造检测挑战方面的有效性，为更鲁棒和适应性更强的深度伪造检测解决方案铺平了道路。