SELFI：用于泛化性深度伪造检测的身份选择性融合
计算机视觉与模式识别
2025-06-24 v1
摘要
人脸身份为深度伪造检测提供了强有力的信号。先前的研究表明，即使没有显式建模，分类器通常也会隐式地学习身份特征。这导致了相互冲突的观点：一些研究抑制身份线索以减少偏差，而另一些则将其作为取证证据。为了调和这些观点，我们分析了两个假设：(1) 单独的人脸身份是否对检测深度伪造具有判别力，以及 (2) 此类身份特征在不同篡改方法间的泛化能力是否较差。我们的实验证实，身份信息具有信息量但依赖于上下文。虽然某些篡改保留了与身份一致的伪影，但其他篡改会扭曲身份线索并损害泛化能力。我们认为，身份特征既不应被盲目抑制，也不应被盲目依赖，而应基于每个样本的相关性进行显式建模和自适应控制。我们提出了 \textbf{SELFI}（\textbf{SEL}ective \textbf{F}usion of \textbf{I}dentity，身份选择性融合），这是一个动态调节身份使用的泛化性检测框架。SELFI 包含：(1) 伪造感知身份适配器（Forgery-Aware Identity Adapter, FAIA），它从冻结的人脸识别模型中提取身份嵌入，并通过辅助监督将其投影到与伪造相关的空间中；以及 (2) 身份感知融合模块（Identity-Aware Fusion Module, IAFM），它使用相关性引导的融合机制选择性地整合身份和视觉特征。在四个基准上的实验表明，SELFI 提高了跨篡改泛化能力，平均 AUC 比 prior methods 高出 3.1\%。在具有挑战性的 DFDC 数据集上，SELFI 超出 previous best 6\%。代码将在论文被接受后发布。
引用
@article{arxiv.2506.17592,
title = {SELFI: Selective Fusion of Identity for Generalizable Deepfake Detection},
author = {Younghun Kim and Minsuk Jang and Myung-Joon Kwon and Wonjun Lee and Changick Kim},
journal= {arXiv preprint arXiv:2506.17592},
year = {2025}
}