面向深度伪造检测的以真实样本为中心的一致性学习
计算机视觉与模式识别
2022-05-17 v1
摘要
以往大多数深度伪造检测研究致力于以人类可感知的方式描述和判别伪影，这使得所学网络存在偏置，忽略了类内的一些关键不变特征，并且在网络干扰下的鲁棒性表现不佳。本质上，深度伪造检测问题的目标是在表示空间中有区分地表示自然人脸与伪造人脸，这提醒我们是否可以通过约束类内一致性与类间不一致性来优化表示空间中的特征提取过程，使类内表示靠近、类间表示远离？因此，受对比表示学习启发，我们通过学习两类的不变表示来解决深度伪造检测问题，并提出一种新颖的以真实样本为中心的一致性学习方法。我们从样本级与特征级两方面约束表示。在样本级，我们考虑深度伪造合成过程，提出一种基于伪造语义的配对策略来挖掘潜在的生成相关特征。在特征级，基于表示空间中自然人脸的中心，我们设计了一种困难正样本挖掘与合成方法来模拟潜在的边缘特征。此外，借助我们所提出的监督对比边界损失，设计了一种困难负样本融合方法以提升负边缘特征的判别性。所提方法的有效性与鲁棒性已通过大量实验得到验证。
引用
@article{arxiv.2205.07201,
title = {Real-centric Consistency Learning for Deepfake Detection},
author = {Ruiqi Zha and Zhichao Lian and Qianmu Li and Siqi Gu},
journal= {arXiv preprint arXiv:2205.07201},
year = {2022}
}