基于 3D 分解的人脸伪造检测
计算机视觉与模式识别
2023-09-26 v1
摘要
由于伪造媒体对公众的潜在危害，检测数字人脸篡改已引起广泛关注。然而，近期进展已能将伪造信号削弱至低幅值。分解将图像可逆地分解为若干组成元素，是凸显隐藏伪造细节的一种有前景的途径。在本文中，我们将人脸图像视为底层 3D 几何与光照环境干预的产物，并从计算机图形学视角对其进行分解。具体而言，通过将人脸图像解耦为 3D 形状、通用纹理、身份纹理、环境光与直射光，我们发现问题根源在于直射光与身份纹理。基于该观察，我们提出利用由直射光与身份纹理组合而成的人脸细节作为线索来检测细微伪造模式。此外，我们通过监督注意力机制高亮篡改区域，并引入双流结构以将人脸图像与人脸细节作为多模态任务一同利用。大量实验表明了从人脸细节提取的额外特征的有效性，且我们的方法取得了最先进的性能。
引用
@article{arxiv.2011.09737,
title = {Face Forgery Detection by 3D Decomposition},
author = {Xiangyu Zhu and Hao Wang and Hongyan Fei and Zhen Lei and Stan Z. Li},
journal= {arXiv preprint arXiv:2011.09737},
year = {2023}
}