基于噪声混合的伪造感知预测器用于多人脸篡改检测与定位
计算机视觉与模式识别
2024-08-06 v1
摘要
随着人脸篡改技术的进步，多人脸场景下的伪造图像正逐渐成为更复杂、更现实的挑战。尽管如此，针对此类多人脸篡改的检测与定位方法仍发展不足。传统篡改定位方法要么从定位掩码中间接推导检测结果，导致检测性能受限；要么采用简单的双分支结构同时获取检测和定位结果，这无法有效利用两个任务间的有限交互来提升定位能力。本文提出了一种新框架，即MoNFAP，专门用于多人脸篡改检测与定位。MoNFAP主要包含两个新颖模块：伪造感知统一预测器(FUP)模块和噪声混合模块(MNM)。FUP利用令牌学习策略和多个伪造感知变换器来整合检测与定位任务，从而利用分类信息增强定位能力。此外，受噪声信息在伪造检测中关键作用的启发，MNM基于专家混合的概念利用多个噪声提取器来增强通用RGB特征，进一步提升框架性能。最后，我们建立了一个全面的多人脸检测与定位基准，所提出的MoNFAP取得了显著的性能提升。代码将公开提供。
关键词
引用
@article{arxiv.2408.02306,
title = {Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization},
author = {Changtao Miao and Qi Chu and Tao Gong and Zhentao Tan and Zhenchao Jin and Wanyi Zhuang and Man Luo and Honggang Hu and Nenghai Yu},
journal= {arXiv preprint arXiv:2408.02306},
year = {2024}
}