用于人脸篡改检测与定位的多光谱类中心网络
计算机视觉与模式识别
2024-07-16 v3
摘要
随着深伪内容在网络上泛滥，推进人脸篡改取证已变得至关重要。为应对这一新兴威胁，先前方法主要聚焦于研究如何区分真实与篡改人脸图像。尽管表现令人瞩目，图像级分类缺乏可解释性且局限于特定应用场景，促使近期研究转向像素级预测的人脸篡改取证。然而，现有伪造定位方法在定位网络中探索基于频率的伪造痕迹方面存在不足。本文中，我们观察到多频谱信息可有效识别篡改区域。为此，提出一种新颖的多光谱类中心网络（MSCCNet）用于人脸篡改检测与定位。具体而言，我们设计多光谱类中心（MSCC）模块以学习更具泛化性的多频率特征。基于不同频带特征，MSCC模块收集多光谱类中心并计算像素到类的关系。应用多光谱类级表示抑制了对伪造图像篡改区域不敏感的视觉概念语义信息。此外，我们提出多级特征聚合（MFA）模块以利用更多低级伪造伪影与结构纹理。同时，我们基于像素级FF++与Dolos数据集构建了全面的定位基准。实验结果从定量与定性上证明了所提MSCCNet的有效性与优越性。我们期望本工作能启发更多像素级人脸篡改定位研究。代码已公开（https://github.com/miaoct/MSCCNet）。
引用
@article{arxiv.2305.10794,
title = {Multi-spectral Class Center Network for Face Manipulation Detection and Localization},
author = {Changtao Miao and Qi Chu and Zhentao Tan and Zhenchao Jin and Tao Gong and Wanyi Zhuang and Yue Wu and Bin Liu and Honggang Hu and Nenghai Yu},
journal= {arXiv preprint arXiv:2305.10794},
year = {2024}
}
备注
Update Version