从嘴部不一致性揭露唇语同步深度伪造
计算机视觉与模式识别
2024-06-05 v2
摘要
唇语同步深度伪造是一种数字操纵视频，其中使用AI模型令人信服地创建人物嘴唇运动，以匹配被篡改或全新的音频。唇语同步深度伪造是一种危险的深度伪造类型，因为伪影仅限于嘴唇区域，更难辨别。在本文中，我们描述了一种新颖的方法LIPINC（基于嘴部不一致性的唇语同步检测），通过识别嘴部区域的时间不一致性来检测唇语同步深度伪造。这些不一致性在相邻帧和整个视频中可见。我们的模型能够成功捕获这些不规则性，并在多个基准深度伪造数据集上优于现有最先进方法。代码可在https://github.com/skrantidatta/LIPINC获取。
引用
@article{arxiv.2401.10113,
title = {Exposing Lip-syncing Deepfakes from Mouth Inconsistencies},
author = {Soumyya Kanti Datta and Shan Jia and Siwei Lyu},
journal= {arXiv preprint arXiv:2401.10113},
year = {2024}
}