真实场景中的 Deepfake 视频：分析与检测
密码学与安全
2021-03-12 v2 计算机视觉与模式识别
摘要
AI 操纵的视频，通常称为 deepfake，是一个新兴问题。最近，学术界和工业界的研究人员贡献了若干（自行创建的）基准 deepfake 数据集以及 deepfake 检测算法。然而，针对理解真实场景中 deepfake 视频的努力甚少，导致对该领域研究贡献在现实世界中的适用性理解有限。即便检测方案在现有数据集上表现良好，这些方法对真实世界 deepfake 的泛化能力仍不清楚。为弥补这一知识缺口，我们做出以下贡献：首先，我们收集并呈现了最大的真实场景 deepfake 视频数据集，包含来自 YouTube 和 Bilibili 的 1,869 个视频，并提取了超过 4.8M 帧内容。其次，我们对真实世界中 deepfake 内容的增长模式、流行度、创作者、操纵策略和生产方法进行了全面分析。第三，我们使用我们的新数据集系统评估了现有防御手段，并观察到它们尚未准备好在真实世界中部署。第四，我们探索了迁移学习方案和竞赛获胜技术改进防御的潜力。
引用
@article{arxiv.2103.04263,
title = {Deepfake Videos in the Wild: Analysis and Detection},
author = {Jiameng Pu and Neal Mangaokar and Lauren Kelly and Parantapa Bhattacharya and Kavya Sundaram and Mobin Javed and Bolun Wang and Bimal Viswanath},
journal= {arXiv preprint arXiv:2103.04263},
year = {2021}
}
备注
Accepted to The Web Conference 2021; First two authors contributed equally to this work; 12 pages, 6 tables