深度伪造看向何处？基于视线追踪的合成人脸检测
计算机视觉与模式识别
2021-05-21 v2 人工智能
摘要
继近期 AI 民主化的倡议之后，深度伪造生成器已变得日益流行且易于获取，引发了针对社会信任侵蚀的反乌托邦场景。特定领域（如生物信号）引起了关注，朝向能够利用真实视频中尚未被生成方法伪造的真实性签名进行检测的方法。在本文中，我们首先提出深度伪造表现不同的几个显著眼睛和视线特征。其次，我们将这些特征编译为签名，并分析和比较真实与伪造视频的那些签名， formulate 几何、视觉、度量、时间和频谱变化。第三，我们通过深度神经网络将该表述推广到深度伪造检测问题，以将野外的任何视频分类为伪造或真实。我们在多个深度伪造数据集上评估我们的方法，在 FaceForensics++ 上达到 92.48% 准确率，在 Deep Fakes (in the wild) 上 80.0%，在 CelebDF 上 88.35%，在 DeeperForensics 数据集上 99.27%。我们的方法在不具备所提视线签名的情况下，优于大多数具有复杂网络架构的深度和生物伪造检测器。我们进行了涉及不同特征、架构、序列时长和后处理伪影的消融研究。
引用
@article{arxiv.2101.01165,
title = {Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking},
author = {Ilke Demir and Umur A. Ciftci},
journal= {arXiv preprint arXiv:2101.01165},
year = {2021}
}
备注
To appear in the proceedings of ACM ETRA 2021