利用表面异常进行深度伪造检测：SurFake 方法
计算机视觉与模式识别
2024-04-18 v2
摘要
合成生成内容在我们日常生活各领域（尤其是媒体信息）中日益增长的使用，强烈需要深度伪造检测工具以避免篡改信息的扩散。识别被操纵内容（特别是图像与视频）的过程，基本上是通过寻找由伪造生成过程导致的某些不一致和/或异常来完成。科学文献中存在不同技术，利用多种特定特征以凸显可能的修改。本文中，我们提议研究深度伪造创建如何影响整个场景在采集时的特性。特别地，当图像（视频）被捕获时，场景整体几何（如表面）与采集过程（如光照）决定了由图像像素值直接表示的唯一环境；这些内在关系可能被深度伪造生成过程改变。借助对所描绘图像表面特性的分析，可获得用于训练 CNN 进行深度伪造检测的描述子：我们称此方法为 SurFake。在 FF++ 数据集上针对不同种类深度伪造伪造与多种深度学习模型开展的实验结果证实，该特征可用于区分原始与篡改图像；此外，实验表明它也可与视觉数据结合，在检测准确率上提供一定提升。
引用
@article{arxiv.2310.20621,
title = {Deepfake detection by exploiting surface anomalies: the SurFake approach},
author = {Andrea Ciamarra and Roberto Caldelli and Federico Becattini and Lorenzo Seidenari and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2310.20621},
year = {2024}
}