深入探索序列块以进行 Deepfake 检测
计算机视觉与模式识别
2022-10-13 v3
摘要
人脸伪造技术的最新进展生成了几乎在视觉上无法追踪的 deepfake 视频，这些视频可能被用于恶意意图。因此，研究人员一直致力于 deepfake 检测。先前的研究已经识别出局部低级线索和时间信息在追求跨 deepfake 方法良好泛化中的重要性，然而，它们在面对后处理时仍然存在鲁棒性问题。在本工作中，我们提出了局部与时间感知的基于 Transformer 的 Deepfake 检测 (LTTD) 框架，该框架采用局部到全局的学习协议，特别关注局部序列内有价值的时间信息。具体而言，我们提出了局部序列 Transformer (LST)，它在受限空间区域的序列上建模时间一致性，其中低级信息通过学习到的 3D 滤波器的浅层进行分层增强。基于局部时间嵌入，我们随后以全局对比的方式实现最终分类。在流行数据集上的大量实验验证了我们的方法能够有效发现局部伪造线索，并达到了 state-of-the-art 的性能。
引用
@article{arxiv.2207.02803,
title = {Delving into Sequential Patches for Deepfake Detection},
author = {Jiazhi Guan and Hang Zhou and Zhibin Hong and Errui Ding and Jingdong Wang and Chengbin Quan and Youjian Zhao},
journal= {arXiv preprint arXiv:2207.02803},
year = {2022}
}
备注
Accepted to NeurIPS 2022