基于多模态人脸伪造线索的分层伪造分类器
计算机视觉与模式识别
2023-09-20 v2
摘要
人脸伪造检测在个人隐私与社会安全中起着重要作用。随着对抗生成模型的发展，高质量伪造图像对人类而言变得越来越难以与真实图像区分。现有方法通常将伪造检测任务视为普通的二分类或多标签分类，而忽略了对可见光光谱与近红外场景等多种多模态伪造图像类型的探索。本文提出一种新颖的用于多模态人脸伪造检测的分层伪造分类器（HFC-MFFD），能够有效学习基于图块的鲁棒混合域表示，以增强多模态场景下的伪造鉴别。所设计的局部空间混合域特征模块用于在局部不同人脸区域中同时挖掘图像域与频域的强判别性伪造线索。此外，提出特定的分层人脸伪造分类器以缓解类不平衡问题并进一步提升检测性能。在具有代表性的多模态人脸伪造数据集上的实验结果表明，所提出的 HFC-MFFD 相比最先进算法具有优越性能。源代码与模型已公开于 https://github.com/EdWhites/HFC-MFFD。
引用
@article{arxiv.2212.14629,
title = {Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues},
author = {Decheng Liu and Zeyang Zheng and Chunlei Peng and Yukai Wang and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2212.14629},
year = {2023}
}
备注
The code is publicly available: https://github.com/EdWhites/HFC-MFFD