IMDPrompter：通过跨视图自动提示学习将SAM适配于图像篡改检测
计算机视觉与模式识别
2025-05-01 v4
摘要
通过使用来自 SA-1B 的大量训练数据，分割一切模型（SAM）展示了卓越的泛化和零样本能力，在医学图像分割和遥感图像分割等领域引起了广泛关注。然而，其在图像篡改检测领域的性能在很大程度上仍未得到探索和确认。将 SAM 应用于图像篡改检测面临两个主要挑战：a) 依赖手动提示，以及 b) 单视图信息难以支持跨数据集泛化。为了解决这些挑战，我们基于 SAM 开发了一种称为 IMDPrompter 的跨视图提示学习范式。得益于自动化提示的设计，IMDPrompter 不再依赖人工指导，能够实现自动化检测与定位。此外，我们提出了跨视图特征感知、最优提示选择和跨视图提示一致性等组件，这些组件促进了跨视图感知学习，并引导 SAM 生成准确的掩码。来自五个数据集（CASIA、Columbia、Coverage、IMD2020 和 NIST16）的广泛实验结果验证了我们所提方法的有效性。
引用
@article{arxiv.2502.02454,
title = {IMDPrompter: Adapting SAM to Image Manipulation Detection by Cross-View Automated Prompt Learning},
author = {Quan Zhang and Yuxin Qi and Xi Tang and Jinwei Fang and Xi Lin and Ke Zhang and Chun Yuan},
journal= {arXiv preprint arXiv:2502.02454},
year = {2025}
}