TriDF：用于可解释深度伪造检测的感知、检测与幻觉评估

生成模型的进步使得制造逼真的个人形象变得越来越容易，给安全、沟通和公众信任带来严重风险。检测此类以人为操作为导向的篡改内容需要系统不仅能区分被修改的内容与真实媒体，还能提供清晰可靠的推理。在本论文中，我们介绍了 TriDF，一个用于可解释深度伪造检测的综合性基准。TriDF 包含来自先进合成模型制造的高质量伪造内容，覆盖图像、视频和音频模态的 16 种深度伪造类型。该基准评估三个关键方面：感知能力，这测度模型通过人工标注证据识别细粒度篡改痕迹的能力；检测性能，这评估在多样化的伪造家族和生成器之间的分类表现；幻觉，这量化模型生成解释的可靠性。在最新多模态大语言模型上的实验表明，准确的感知对于可靠检测至关重要，但幻觉会严重干扰决策，揭示了这三个方面之间的相互依存性。TriDF 提供了一个统一的框架，用于理解检测精度、证据识别和解释可靠性之间的相互作用，为构建可信赖的系统提供了基础，这些系统旨在应对现实世界的合成媒体威胁。