RGB-Sonar 跟踪基准与空间跨注意力 Transformer 跟踪器
计算机视觉与模式识别
2024-06-27 v3
摘要
视觉相机与声纳在水下环境中天然互补，融合两类信息有助于更好地观测水下目标。然而，此问题在以往研究中未得到充分关注。因此，本文引入新的具有挑战性的 RGB-Sonar (RGB-S) 跟踪任务，并探讨如何通过 RGB 与声纳 modalities 间的交互实现对水下目标的高效跟踪。具体而言，我们首先提出包含 50 个序列且标注框超过 87000 个的 RGBS50 数据集。实验表明，RGBS50 数据集对当前流行的单目标跟踪 (SOT) 跟踪器构成挑战。其次，我们提出名为 SCANet 的 RGB-S 跟踪器，其中包括空间跨注意力模块 (SCAM)，由 novel spatial cross-attention layer 和两个独立的全局集成模块组成。空间跨注意力用于克服 RGB 与声纳图像之间的空间错位问题。再次，我们提出一种基于 SOT 数据的 RGB-S 模拟训练方法 (SRST)，通过将 RGB 图像转换为类似声纳的显著性图像来构建伪数据对，使模型能够学习 RGB-S 类数据的语义结构。广泛的实验表明，所提出的空间跨注意力有效实现了 RGB 与声纳 modalities 间的交互，SCANet 在该基准上取得了最先进的性能。代码已发布于 https://github.com/LiYunfengLYF/RGBS50。
引用
@article{arxiv.2406.07189,
title = {RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker},
author = {Yunfeng Li and Bo Wang and Jiuran Sun and Xueyi Wu and Ye Li},
journal= {arXiv preprint arXiv:2406.07189},
year = {2024}
}