识别不变纹理违例以实现鲁棒深度伪造检测
计算机视觉与模式识别
2020-12-22 v1 机器学习
图像与视频处理
摘要
现有深度伪造检测方法在利用已发布的大规模数据集时取得了有前景的分布内结果。然而,由于非平滑合成方法,该数据集中的伪造样本可能暴露出明显伪影(例如,强烈视觉对比、非平滑边界),上述多数帧级检测方法严重依赖这些伪影。由于这些伪影不会出现在真实媒体伪造中,上述方法在应用于接近现实的伪造图像时会出现大幅性能退化。为提高针对高真实感伪造数据的鲁棒性,我们提出了不变纹理学习(InTeLe)框架,其仅访问具有低视觉质量的已发布数据集。我们的方法基于如下先验:源人脸的微观面部纹理不可避免地受到来自目标人物的纹理转移的破坏,因此可视为所有伪造图像共享的不变表征。为学习此种不变性以进行深度伪造检测,我们的 InTeLe 引入了带有分别用于原始与伪造图像的不同解码器的自编码器框架,并进一步附加浅层分类器以分离出明显的伪影效应。借助此种分离,编码器提取的嵌入能够捕获伪造图像中的纹理违例,随后由分类器进行最终的原始/伪造预测。作为理论保证,我们证明了此种不变纹理违例的可辨识性,即能够从观测数据中精确推断。我们的方法的有效性及实用性由从具有明显伪影的低质量图像到高真实感伪造图像的 promising 泛化能力所证明。
引用
@article{arxiv.2012.10580,
title = {Identifying Invariant Texture Violation for Robust Deepfake Detection},
author = {Xinwei Sun and Botong Wu and Wei Chen},
journal= {arXiv preprint arXiv:2012.10580},
year = {2020}
}