SeeABLE：用于揭露深度伪造的软差异与有界对比学习
计算机视觉与模式识别
2023-11-07 v2
摘要
现代深度伪造检测器在训练与测试图像取自同一数据收集时已取得令人鼓舞的结果。然而，当将这些检测器应用于采用未知深度伪造生成技术合成的图像时，通常会观察到显著的性能退化。本文提出一种新颖的深度伪造检测器，称为 SeeABLE，其将检测问题形式化为（单类）分布外检测任务，并对未见深度伪造具有更好的泛化能力。具体而言，SeeABLE 首先生成局部图像扰动（称为软差异），随后利用一种新颖的基于回归的有界对比损失将扰动后的人脸推向预定义原型。为强化 SeeABLE 对未知深度伪造类型的泛化性能，我们生成丰富的软差异集合并训练检测器：(i) 定位人脸的哪一部分被修改，以及 (ii) 识别篡改类型。为证明 SeeABLE 的能力，我们在多个广泛使用的深度伪造数据集上进行了严谨实验，表明我们的模型令人信服地优于竞争的先进(state-of-the-art, SOTA)检测器，同时展现出极具潜力的泛化能力。
引用
@article{arxiv.2211.11296,
title = {SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes},
author = {Nicolas Larue and Ngoc-Son Vu and Vitomir Struc and Peter Peer and Vassilis Christophides},
journal= {arXiv preprint arXiv:2211.11296},
year = {2023}
}
备注
Accepted at ICCV 2023