基于相位运动分析的泛化深度伪造检测
计算机视觉与模式识别
2022-11-18 v1
摘要
我们提出 PhaseForensics，一种利用面部时间动态的基于相位的运动表示的 DeepFake（DF）视频检测方法。现有依赖时间不一致性进行 DF 检测的方法相较于典型的基于帧的方法具有诸多优势。然而，它们仍表现出有限的跨数据集泛化能力以及对常见失真的鲁棒性不足。这些缺陷部分源于易出错的运动估计与 landmark 跟踪，或基于像素强度的特征对空间失真与跨数据集域偏移的敏感性。我们克服这些问题的关键见解是利用 Complex Steerable Pyramid 带通分量上面部子区域的时间相位变化。这不仅能对这些区域的时间动态进行鲁棒估计，也更不易受跨数据集变化影响。此外，用于计算局部逐帧相位的带通滤波器构成了针对基于梯度的对抗攻击中常见扰动的有效防御。总体而言，借助 PhaseForensics，我们展示了改进的失真与对抗鲁棒性，以及最先进的跨数据集泛化能力，在具挑战性的 CelebDFv2 上取得 91.2% 视频级 AUC（近期最先进方法为 86.9%）。
引用
@article{arxiv.2211.09363,
title = {Generalizable Deepfake Detection with Phase-Based Motion Analysis},
author = {Ekta Prashnani and Michael Goebel and B. S. Manjunath},
journal= {arXiv preprint arXiv:2211.09363},
year = {2022}
}