利用真实说话人脸自监督实现鲁棒伪造检测
计算机视觉与模式识别
2022-10-24 v3
摘要
人脸操纵视频检测中最紧迫的挑战之一，是在泛化到训练时未见的伪造方法的同时，在压缩等常见损坏下仍保持有效。在本文中，我们考察是否可以通过利用真实说话人脸视频来解决此问题，这类视频包含丰富的自然面部外观与行为信息，并且可在网上大量获取。我们的方法称为 RealForensics，包含两个阶段。首先，我们利用真实视频中视觉与听觉模态之间的自然对应关系，以自监督跨模态方式学习时间稠密视频表示，捕捉面部运动、表情和身份等因素。其次，我们将这些学习到的表示作为目标，由我们的伪造检测器与常规的二分类伪造任务一同预测；这促使其基于上述因素做出真/假判定。我们表明，我们的方法在跨操纵泛化与鲁棒性实验中达到了最先进的性能，并考察了导致其性能的因素。我们的结果表明，利用自然且无标签的视频是开发更鲁棒人脸伪造检测器的有前景方向。
引用
@article{arxiv.2201.07131,
title = {Leveraging Real Talking Faces via Self-Supervision for Robust Forgery Detection},
author = {Alexandros Haliassos and Rodrigo Mira and Stavros Petridis and Maja Pantic},
journal= {arXiv preprint arXiv:2201.07131},
year = {2022}
}
备注
CVPR 2022. Code: https://github.com/ahaliassos/RealForensics