通过微弱信号中的逐像素AR和PPG相关性揭露Deepfake
计算机视觉与模式识别
2021-11-01 v1 图像与视频处理
摘要
Deepfake对司法证据的可靠性和知识产权保护构成了严重威胁。尽管迫切需要Deepfake识别，但现有的像素级检测方法越来越难以抵抗假视频日益增长的真实感，并且缺乏泛化能力。在本文中，我们提出了一种通过人脸视频中隐藏的微弱信号来揭露Deepfake的方案。该方案提取了人脸像素之间隐藏的两种细微信息——光电容积描记特征和自回归特征，分别作为时域和空域取证的基础。根据PPG原理，追踪血细胞对光的吸收可以远程估计人脸视频的时域心率，而不规则的心率波动可被视为篡改痕迹。另一方面，AR系数能够反映像素间相关性，也能反映假脸生成过程中上采样引起的平滑痕迹。此外，该方案结合了基于非对称卷积块改进的密集连接网络，以实现人脸视频真实性取证。其非对称卷积结构增强了网络对输入特征图像上下翻转和左右翻转的鲁棒性，使得特征拼接的顺序不影响检测结果。仿真结果表明，与基准策略相比，我们提出的方案在多个深度伪造数据集上提供了更准确的真实性检测结果，并具有更好的泛化能力。
引用
@article{arxiv.2110.15561,
title = {Exposing Deepfake with Pixel-wise AR and PPG Correlation from Faint Signals},
author = {Maoyu Mao and Jun Yang},
journal= {arXiv preprint arXiv:2110.15561},
year = {2021}
}