面向解决 DeepFake 问题：基于动态人脸增强改进 DeepFake 检测的分析
计算机视觉与模式识别
2021-08-27 v3 人工智能
机器学习
摘要
由于 DeepFake 生成方法的改进，篡改与操纵人脸的创建已变得更为常见。与此同时，我们看到了用于区分图像或视频内容中篡改人脸与原始人脸的检测模型的发展。本文中，我们聚焦于识别现有 deepfake 检测框架的局限与不足。通过对现有方法与数据集的定量与定性分析，我们发现了围绕 deepfake 检测的一些关键问题。我们发现 deepfake 数据集高度过采样，导致模型容易过拟合。这些数据集使用少量真实人脸生成多个伪造样本。当在这些数据集上训练时，模型倾向于记忆演员的人脸与标签，而非学习伪造特征。为缓解此问题，我们提出一种称为 Face-Cutout 的简单数据增强方法。我们的方法利用人脸关键点信息动态裁切图像区域，帮助模型选择性地仅关注输入的相关区域。我们的评估实验表明，Face-Cutout 能成功改善数据多样性并缓解过拟合问题。与其他基于遮挡的技术相比，我们的方法在不同数据集上将 LogLoss 降低了 15.2% 至 35.3%。此外，我们还提出一种通用数据预处理指南，用于训练与评估现有架构，从而使这些模型在 deepfake 检测上的泛化能力得到提升。
引用
@article{arxiv.2102.09603,
title = {Towards Solving the DeepFake Problem : An Analysis on Improving DeepFake Detection using Dynamic Face Augmentation},
author = {Sowmen Das and Selim Seferbekov and Arup Datta and Md. Saiful Islam and Md. Ruhul Amin},
journal= {arXiv preprint arXiv:2102.09603},
year = {2021}
}