DeepFakesON-Phys：基于心率估计的 DeepFake 检测
计算机视觉与模式识别
2020-12-15 v3 多媒体
摘要
本工作引入了一种基于生理测量的新型 DeepFake 检测框架。具体而言，我们考虑利用远程光电容积描记术（rPPG）获取与心率相关的信息。rPPG 方法分析视频序列以寻找人体皮肤中的细微颜色变化，从而揭示组织下人体血液的存在。本工作中，我们探究 rPPG 在 DeepFake 视频检测中的有用程度。所提出的伪片检测器名为 DeepFakesON-Phys，使用卷积注意力网络（CAN）从视频帧中提取空间与时间信息，分析并融合两种来源以更好地检测伪造视频。该检测方法已使用领域最新公开数据库 Celeb-DF 与 DFDC 进行实验评估。所取得的结果（两个数据库上 AUC（曲线下面积）均高于 98%）优于当前最优方法，并证明了基于生理测量的伪片检测器在检测最新 DeepFake 视频上的成功。
引用
@article{arxiv.2010.00400,
title = {DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation},
author = {Javier Hernandez-Ortega and Ruben Tolosana and Julian Fierrez and Aythami Morales},
journal= {arXiv preprint arXiv:2010.00400},
year = {2020}
}