面向人脸伪造检测与分类的节律模式识别
计算机视觉与模式识别
2022-07-05 v1
摘要
随着GAN的出现，人脸伪造技术已被大量滥用。实现准确的人脸伪造检测迫在眉睫。受远程光电容积脉搏波描记法（rPPG）启发——即PPG信号对应于人脸视频中由心跳引起的肤色周期性变化——我们观察到，尽管在伪造过程中PPG信号不可避免地有所损失，但伪造视频中仍混合有根据其生成方法而具有独特节律模式的PPG信号。受这一关键观察的驱动，我们提出了一种用于人脸伪造检测与分类的框架，包括：1）用于PPG信号滤波的时空滤波网络（STFNet）；2）用于PPG信号约束与交互的时空交互网络（STINet）。此外，基于对伪造方法生成的深入洞察，我们进一步提出了源内与源间混合以增强框架性能。总体而言，大量实验已证明我们方法的优越性。
引用
@article{arxiv.2207.01199,
title = {Identifying Rhythmic Patterns for Face Forgery Detection and Categorization},
author = {Jiahao Liang and Weihong Deng},
journal= {arXiv preprint arXiv:2207.01199},
year = {2022}
}