多注意力深度伪造检测
计算机视觉与模式识别
2021-03-09 v3
摘要
深度伪造的人脸伪造内容在互联网上广泛传播,并引发了严重的社会担忧。近来,如何检测此类伪造内容已成为热门研究课题,许多深度伪造检测方法被提出。其中多数将深度伪造检测建模为普通的二分类问题,即先使用骨干网络提取全局特征,再将其送入二分类器(真/假)。但由于该任务中真实与伪造图像的差异往往细微且局部,我们认为这种普通方案并非最优。本文中,我们转而将深度伪造检测表述为细粒度分类问题,并提出一种新的多注意力深度伪造检测网络。具体而言,它由三个关键组件构成:1) 多个空间注意力头使网络关注不同局部区域;2) 纹理特征增强块以放大浅层特征中的细微伪影;3) 在注意力图引导下聚合低级纹理特征与高级语义特征。此外,为解决该网络的学习困难,我们进一步引入一种新的区域独立性损失与注意力引导数据增强策略。通过在多个不同数据集上的大量实验,我们证明了我们的方法优于普通二分类器对应方法,并取得了 SOTA 性能。
引用
@article{arxiv.2103.02406,
title = {Multi-attentional Deepfake Detection},
author = {Hanqing Zhao and Wenbo Zhou and Dongdong Chen and Tianyi Wei and Weiming Zhang and Nenghai Yu},
journal= {arXiv preprint arXiv:2103.02406},
year = {2021}
}
备注
CVPR2021 preview