通过CNN集成进行视频人脸篡改检测
计算机视觉与模式识别
2020-04-17 v1 多媒体
图像与视频处理
摘要
在过去几年中，多种视频人脸操控技术已成功开发并普及（如 FaceSwap、deepfake 等）。这些方法使任何人都能以极其逼真的结果和极少的精力轻松编辑视频序列中的人脸。尽管这些工具在许多领域很有用，但如果被恶意使用，它们会对社会产生显著的不良影响（例如，假新闻传播、通过伪造报复性色情内容进行网络欺凌）。因此，客观检测视频序列中的人脸是否被篡改是一项极为重要的任务。在本文中，我们针对现代人脸操控技术，解决视频序列中的人脸篡改检测问题。特别地，我们研究了不同训练好的卷积神经网络（CNN）模型的集成。在所提出的解决方案中，从基础网络（即 EfficientNetB4）出发，利用两种不同概念获得不同模型：（i）注意力层；（ii）连体训练。我们表明，在包含两个公开数据集、超过119000个视频上，组合这些网络可带来有前景的人脸篡改检测结果。
引用
@article{arxiv.2004.07676,
title = {Video Face Manipulation Detection Through Ensemble of CNNs},
author = {Nicolò Bonettini and Edoardo Daniele Cannas and Sara Mandelli and Luca Bondi and Paolo Bestagini and Stefano Tubaro},
journal= {arXiv preprint arXiv:2004.07676},
year = {2020}
}