基于SAM细化的上下文感知弱监督图像操纵局部化
计算机视觉与模式识别
2025-04-01 v2 人工智能
摘要
恶意图像操纵构成社会风险，提高了有效图像操纵检测方法的重要性。近期的图像操纵检测方法主要采用 fully supervised 方法，这些方法需要 labor-intensive 的像素级标注。因此，有必要探索仅需 image-level 二元标签进行 training 的弱监督图像操纵局部化方法。然而，现有的弱监督图像操纵方法忽视了边缘信息对 accurate 局部化的重要性，导致局部化性能次优。为此，我们提出一种 Context-Aware Boundary Localization(CABL)模块，用于聚合边界特征并学习 context-inconsistency 以实现操纵区域的局部化。此外，借助 Class Activation Mapping(CAM)和 Segment Anything Model(SAM)，我们引入 CAM-Guided SAM Refinement(CGSR)模块以生成更准确的操纵局部化图。通过整合两个模块，我们提出一种基于 dual-branch Transformer-CNN 架构的 novel 弱监督框架。我们的方法在多个数据集上实现了卓越的局部化性能。
引用
@article{arxiv.2503.20294,
title = {Context-Aware Weakly Supervised Image Manipulation Localization with SAM Refinement},
author = {Xinghao Wang and Tao Gong and Qi Chu and Bin Liu and Nenghai Yu},
journal= {arXiv preprint arXiv:2503.20294},
year = {2025}
}