FastForensics:面向实时图像操纵检测的高效双流设计
计算机视觉与模式识别
2024-08-30 v1 密码学与安全
摘要
随着便携设备的流行,伪造媒体在社交平台上的传播量剧增。这迫切需要及时识别真实内容。然而,大多数先进检测方法计算负担沉重,阻碍其实际应用。在本文中,我们描述了一个用于实时图像操纵检测的高效双流架构。我们的方法由两个分支构成,分别针对认知和审查视角。在认知分支中,我们提出了高效的小波引导 Transformer 块,用于捕捉与频率相关的全局操纵痕迹。该块包含一个交互式小波引导自注意力模块,将小波变换与高效注意力设计相结合,与审查分支的知识进行交互。在审查分支中,我们采用简单卷积捕捉细粒度痕迹,并与 Transformer 块双向交互以提供相互支持。我们的方法轻量(约 8M 参数),在许多对手中均表现出竞争性能,证明其在图像操纵检测中的有效性以及在便携设备上的潜在集成能力。
关键词
引用
@article{arxiv.2408.16582,
title = {FastForensics: Efficient Two-Stream Design for Real-Time Image Manipulation Detection},
author = {Yangxiang Zhang and Yuezun Li and Ao Luo and Jiaran Zhou and Junyu Dong},
journal= {arXiv preprint arXiv:2408.16582},
year = {2024}
}
备注
BMVC 2024