SAM-PM: 利用时空注意力增强视频伪装目标检测
计算机视觉与模式识别
2024-07-30 v1 人工智能
摘要
在大型基础模型领域，Segment Anything Model (SAM) 因其在图像分割中的卓越表现而获得显著认可。然而，处理视频伪装目标检测 (VCOD) 任务提出了独特的挑战。伪装目标通常融入背景，使其在静态图像中难以区分。此外，在此背景下确保时间一致性是一个难题。因此，SAM 在应用于 VCOD 任务时遇到限制并表现不足。为了克服这些挑战，我们提出了一种称为 SAM 传播模块 (SAM-PM) 的新方法。我们的传播模块通过采用时空交叉注意力机制在 SAM 内部强制实现时间一致性。此外，我们仅训练传播模块，同时冻结 SAM 网络权重，从而将任务特定见解与大型模型积累的广泛知识相结合。我们的方法有效地将时间一致性和领域专业知识融入分割网络，且增加的参数不到 SAM 参数的 1%。大量实验表明，与最新的最先进技术相比，VCOD 基准测试的性能有显著提升。代码和预训练权重已在 https://github.com/SpiderNitt/SAM-PM 开源。
引用
@article{arxiv.2406.05802,
title = {SAM-PM: Enhancing Video Camouflaged Object Detection using Spatio-Temporal Attention},
author = {Muhammad Nawfal Meeran and Gokul Adethya T and Bhanu Pratyush Mantha},
journal= {arXiv preprint arXiv:2406.05802},
year = {2024}
}