DeepFake 视频中行为特征检测的研究
计算机视觉与模式识别
2024-08-09 v2 人工智能
摘要
人们对生成人物说话的合成视频图像有浓厚兴趣，用途包括娱乐、通信、训练和广告。随着深度伪造生成模型的发展，合成视频图像在肉眼上将很快与自然拍摄视频无法区分。此外，许多方法不断改进以规避更细致的取证视觉分析。一些深度伪造视频通过面部操纵（facial puppetry）产生，其通过演员的动作直接控制合成图像的头部与面部，使演员能够“操纵”另一人的图像。本文中，我们探讨一个问题：是否可通过控制说话者的视觉外观但转移另一来源的行为信号，将某人的动作与原说话者区分开。我们通过比较以下合成图像进行研究：1）源自不同人讲述不同话语，2）源自同一人讲述不同话语，以及 3）源自不同人讲述相同话语。我们的研究表明，所有三种情况下的合成视频均比原始源视频显得更不真实且更不具吸引力。结果表明，可能存在可从人的动作中检测到的、与其视觉外观分离的行为特征，且该行为特征可用于区分深度伪造与正常拍摄的视频。
引用
@article{arxiv.2208.03561,
title = {Study of detecting behavioral signatures within DeepFake videos},
author = {Qiaomu Miao and Sinhwa Kang and Stacy Marsella and Steve DiPaola and Chao Wang and Ari Shapiro},
journal= {arXiv preprint arXiv:2208.03561},
year = {2024}
}
备注
9 pages