中文

介观洞察:协同多尺度与混合架构的图像篡改定位

计算机视觉与模式识别 2024-12-19 v1

摘要

介观层次作为宏观与微观世界之间的桥梁,弥补了两者所忽略的空白。图像篡改定位(IML)作为一种从伪造图像中探寻真相的关键技术,长期以来一直依赖于低层次(微观层次)的痕迹。然而在实际中,大多数篡改旨在通过改变图像语义来欺骗观众。因此,篡改通常发生在对象层次(宏观层次),这与微观痕迹同等重要。因此,将这两个层次整合到介观层次中,为 IML 研究提供了新的视角。受此启发,本文探索了如何为 IML 同时构建微观与宏观信息的介观表示,并引入 Mesorch 架构来协同处理两者。具体而言,该架构 i) 并行结合 Transformer 与 CNN,其中 Transformer 提取宏观信息,CNN 捕获微观细节;ii) 跨不同尺度进行探索,无缝评估微观与宏观信息。此外,基于 Mesorch 架构,本文引入了两个基线模型,旨在通过介观表示解决 IML 任务。在四个数据集上的大量实验表明,我们的模型在性能、计算复杂度和鲁棒性方面均超越了当前的最先进水平(SOTA)。

关键词

引用

@article{arxiv.2412.13753,
  title  = {Mesoscopic Insights: Orchestrating Multi-scale & Hybrid Architecture for Image Manipulation Localization},
  author = {Xuekang Zhu and Xiaochen Ma and Lei Su and Zhuohang Jiang and Bo Du and Xiwen Wang and Zeyu Lei and Wentao Feng and Chi-Man Pun and Jizhe Zhou},
  journal= {arXiv preprint arXiv:2412.13753},
  year   = {2024}
}

备注

AAAI 2025. Code: $\href{https://github.com/scu-zjz/Mesorch}{this~url}$