利用度量学习检测Deepfake
计算机视觉与模式识别
2020-03-20 v1
摘要
随着FaceApp、SnapChat、MixBooth、FaceBlender等诸多换脸应用的涌现,数字媒体内容的真实性已岌岌可危。在社交媒体平台上,视频常被以高压缩因子广泛传播。本文中,我们分析了高压缩场景下深度伪造分类的几种深度学习方法,并证明所提出的基于度量学习的方法能非常有效地进行此类分类。利用每视频较少帧数评估其真实度,采用三元组网络架构的度量学习方法被证明是卓有成效的。它学习拉大真实与伪造视频嵌入向量簇之间的特征空间距离。我们在两个数据集上验证了方法以分析不同环境下的表现。我们在Celeb-DF数据集上取得了99.2%的SOTA AUC分数,在高度压缩的Neural Texture数据集上取得了90.71%的准确率。我们的方法在不可避免进行数据压缩的社交媒体平台上尤为有用。
引用
@article{arxiv.2003.08645,
title = {Detecting Deepfakes with Metric Learning},
author = {Akash Kumar and Arnav Bhavsar},
journal= {arXiv preprint arXiv:2003.08645},
year = {2020}
}