SGS：用于全局场景不一致性的分割引导评分
计算机视觉与模式识别
2025-10-01 v1
摘要
我们扩展了 HAMMER——一种用于多模态篡改检测的 state-of-the-art 模型，以处理诸如前景-背景 (FG-BG) 不匹配等全局场景不一致性问题。尽管 HAMMER 在 DGM4 数据集上取得了强劲的表现，但当主体在上下文上被错置到不合理的背景中时，它始终会失败。我们将这一局限性诊断为标签空间偏差、局部注意力焦点以及虚假的文本-前景对齐的综合结果。为了在不重新训练的情况下解决此问题，我们提出了一种轻量级的分割引导评分 (SGS) 流水线。SGS 使用人/脸分割掩码来分离前景和背景区域，利用联合视觉-语言模型提取嵌入，并计算区域感知的连贯性分数。这些分数与 HAMMER 的原始预测相融合，以改进二元检测、定位和 token 级解释。SGS 是纯推理的，几乎不产生计算开销，并显著增强了对全局篡改的鲁棒性。这项工作证明了区域感知推理在多模态虚假信息检测中的重要性。我们在 https://github.com/Gaganx0/HAMMER-sgs 发布了分割和评分脚本。
引用
@article{arxiv.2509.26039,
title = {SGS: Segmentation-Guided Scoring for Global Scene Inconsistencies},
author = {Gagandeep Singh and Samudi Amarsinghe and Urawee Thani and Ki Fung Wong and Priyanka Singh and Xue Li},
journal= {arXiv preprint arXiv:2509.26039},
year = {2025}
}
备注
6 pages, 3 figures