为人脸 Forgery 检测重新思考跨域评估：语义细粒度对齐与混合专家
计算机视觉与模式识别
2026-04-24 v1
摘要
随着生成模型的快速发展，视觉数据伪造检测正在发挥越来越重要的作用，以保障社会和经济安全。然而现有的面部伪造检测器仍无法实现令人满意的性能，因为其在数据集之间泛化能力差。导致这一现象的关键因素是缺乏合适的评估指标：常用的跨数据集 AUC 指标未能揭示检测得分在不同数据域之间可能发生显著偏移的重要问题。为显式评估跨域得分可比性，我们提出了 **Cross-AUC** 评估指标，通过对比一个数据集中的真实样本与另一个数据集中的伪造样本（反之亦然）来计算数据集间的 AUC。有趣的是，在 Cross-AUC 指标下，对代表性检测器的评估揭示了显著的性能下降，暴露了被忽视的鲁棒性问题。此外，我们还提出了新型框架 **S**emantic **F**ine-grained **A**lignment and **M**ixture-of-Experts (**SFAM**)，其中包含一个基于 patch 级别的图像-文本对齐模块，用于增强 CLIP 对操纵痕迹的敏感性，以及面部区域混合专家模块，将不同面部区域的特征路由到专门的专家进行区域感知的伪造分析。在公开数据集上进行的大量定性和定量实验表明，所提方法在各种合适的评估指标下均优于当前最先进的方法。
引用
@article{arxiv.2604.21478,
title = {Rethinking Cross-Domain Evaluation for Face Forgery Detection with Semantic Fine-grained Alignment and Mixture-of-Experts},
author = {Yuhan Luo and Tao Chen and Decheng Liu},
journal= {arXiv preprint arXiv:2604.21478},
year = {2026}
}
备注
The source code is available at https://github.com/Yuhan-Luo/Semantic-Fine-grained-Alignment-and-Mixture-of-Experts