面向交互式深度伪造分析的探索
计算机视觉与模式识别
2025-01-03 v1
摘要
现有的深度伪造分析方法主要基于判别模型，显然限制了其应用场景。本文旨在通过对多模态大语言模型（MLLMs）进行指令调优，探索交互式深度伪造分析。这将面临数据集和基准测试缺乏、训练效率低下的挑战。为此，我们提出：（1）引入GPT辅助的数据构建过程，构建称为DFA-Instruct的指令遵循数据集；（2）设计名为DFA-Bench的基准测试，旨在全面评估MLLMs在深度伪造检测、深度伪造分类和人工瑕疵描述方面的能力；（3）构建交互式深度伪造分析系统DFA-GPT，作为社区的强基准。该数据集和代码已发布于https://github.com/lxq1000/DFA-Instruct，以便进一步研究。
引用
@article{arxiv.2501.01164,
title = {Towards Interactive Deepfake Analysis},
author = {Lixiong Qin and Ning Jiang and Yang Zhang and Yuhan Qiu and Dingheng Zeng and Jiani Hu and Weihong Deng},
journal= {arXiv preprint arXiv:2501.01164},
year = {2025}
}