TENet：结合多尺度池化与相互引导融合的目标性纠缠用于 RGB-E 目标跟踪
计算机视觉与模式识别
2024-05-09 v1
摘要
目前，通过使用对场景运动具有特别丰富信息的视觉事件相机的输出来增强 RGB 模态，以改进视觉目标跟踪引起了强烈关注。然而，现有方法使用传统外观模型进行 RGB-E 跟踪的事件特征提取，这些模型仅针对纯 RGB 跟踪进行了优化，而未适应事件数据的内在特性。为了解决这个问题，我们提出了一个事件骨干网络，旨在获得能够感知事件数据固有特性（即稀疏性）的高质量特征表示。具体而言，引入了多尺度池化，通过使用不同的池化核大小来捕获事件数据内的所有运动特征趋势。派生的 RGB 和事件表示之间的关联由一个执行自适应相互引导融合（MGF）的创新模块建立。大量实验结果表明，我们的方法在两个广泛使用的 RGB-E 跟踪数据集（包括 VisEvent 和 COESOT）上显著优于 SOTA 跟踪器，其中在 COESOT 上的精确率和成功率分别提高了 4.9% 和 5.2%。我们的代码将在 https://github.com/SSSpc333/TENet 上提供。
引用
@article{arxiv.2405.05004,
title = {TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking},
author = {Pengcheng Shao and Tianyang Xu and Zhangyong Tang and Linze Li and Xiao-Jun Wu and Josef Kittler},
journal= {arXiv preprint arXiv:2405.05004},
year = {2024}
}