X2-DFD：一种 eXplainable and eXtendable Deepfake Detection 框架
计算机视觉与模式识别
2025-05-30 v4
摘要
本文提出 X2-DFD，一个基于多模态大语言模型 (MLLM) 的 eXplainable and eXtendable 深度伪造检测框架，包含三个关键阶段。第一阶段是模型特征评估，系统评估伪造相关特征的可检测性，生成基于其对模型本质重要性的特征优先排序。第二阶段是可解释数据集构建，包含两个关键模块：强特征强化设计用于增强模型现有检测和解释能力，通过强化其已学习的特征；弱特征补充旨在通过整合特定特征检测器（如低层次损伤分析器）来弥补 MLLM 的不足。第三阶段是微调和推理，针对构建的数据集对 MLLM 进行微调并部署其进行最终检测和解释。通过将这三个阶段集成，本方法既增强了 MLLM 的优势，又补充了其不足，从而提高了检测性和可解释性。大量实验和消融实验， followed by 全面的人类研究，验证了本方法相较于原始 MLLM 的 improved performance。更令人鼓舞的是，本框架设计为即插即用，能够无缝集成到更先进的 MLLM 和特定特征检测器中，实现持续的改进和扩展以应对快速演变的深度伪造挑战。
引用
@article{arxiv.2410.06126,
title = {X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection},
author = {Yize Chen and Zhiyuan Yan and Guangliang Cheng and Kangran Zhao and Siwei Lyu and Baoyuan Wu},
journal= {arXiv preprint arXiv:2410.06126},
year = {2025}
}