基于身份、行为与几何信號的深度伪造图像社交媒体安全防护
计算机视觉与模式识别
2024-12-10 v1 多媒体
摘要
社交媒体信任度正日益受到关注，因为其能够影响重大社会变革。然而，这一空间正日益被各种类型的深度伪造多媒体所捐害，削弱了共享内容的真实性。尽管已对解决深度伪造内容的挑战作出了大量努力，但现有检测技术面临主要局限性：它们仅在训练时的特定深度伪造类型上表现良好。这对识别特定深度伪造痕迹的依赖使当前方法在应用于未见或多变的深度伪造时，尤其是在社交媒体平台等实际应用中，性能受到影响。为解决深度伪造检测的通用性问题，需要一种整体方法来捕捉除孤立痕迹之外更广泛的面部属性和操作。为此，我们提出一种新型深度伪造检测框架，包含集成 Deep identity、Behavioral、Geometric（DBaG）信號的有效特征描述子，以及名为 DBaGNet 的分类器。具体而言，DBaGNet 分类器利用提取的 DBaG 信號，采用三角损失目标以增强通用表征学习以提高分类效果。为测试所提出方法的有效性和通用性，我们在六个基准深度伪造数据集上进行大量实验：WLDR、CelebDF、DFDC、FaceForensics++、DFD 和 NVFAIR。具体而言，我们进行了跨数据集评估，结果显示相较于多个最先进方法，本方法在性能上显著提升。
引用
@article{arxiv.2412.05487,
title = {Securing Social Media Against Deepfakes using Identity, Behavioral, and Geometric Signatures},
author = {Muhammad Umar Farooq and Awais Khan and Ijaz Ul Haq and Khalid Mahmood Malik},
journal= {arXiv preprint arXiv:2412.05487},
year = {2024}
}