深度伪造的语言特征分析：面向下一代深度伪造检测的开放数据库
计算机视觉与模式识别
2024-01-05 v1
摘要
文本到图像生成模型的出现彻底改变了深度伪造领域，使得能够直接从文本描述创建逼真且令人信服的视觉内容。然而，这一进展给检测此类内容的真实性带来了相当大的挑战。现有的深度伪造检测数据集和方法往往无法有效捕捉日益增多的新兴深度伪造，也无法为检测提供令人满意的解释性信息。为解决这一重要问题，本文引入了一个深度伪造数据库（DFLIP-3K），用于开发令人信服且可解释的深度伪造检测。该数据库包含来自约3000个生成模型的大约30万个多样化深度伪造样本，是文献中涵盖深度伪造模型数量最多的数据库。此外，它还收集了这些深度伪造的大约19万个语言足迹。这两个显著特征使DFLIP-3K能够建立一个基准，促进深度伪造语言特征分析方面的进展，该基准包括三个子任务：深度伪造检测、模型识别和提示预测。深度伪造模型和提示是每个深度伪造的两个基本组成部分，因此从语言上剖析它们可以宝贵地探索深度伪造检测中可信且可解释的证据，我们相信这是下一代深度伪造检测的关键。此外，DFLIP-3K被设想为一个开放数据库，旨在促进透明度并鼓励协作努力以进一步增强其发展。我们在所开发基准上的大量实验验证了我们的DFLIP-3K数据库能够作为评估和比较基于语言的深度伪造检测、识别和提示预测技术的标准化资源。
引用
@article{arxiv.2401.02335,
title = {Linguistic Profiling of Deepfakes: An Open Database for Next-Generation Deepfake Detection},
author = {Yabin Wang and Zhiwu Huang and Zhiheng Ma and Xiaopeng Hong},
journal= {arXiv preprint arXiv:2401.02335},
year = {2024}
}