挑战感知的RGBT跟踪
计算机视觉与模式识别
2020-07-28 v1
摘要
RGB与热源数据均面临共享挑战与特有挑战，如何探索并利用这些挑战在RGBT跟踪中对于表征目标外观起着至关重要的作用。在本文中，我们提出了一种新颖的挑战感知神经网络，以处理RGBT跟踪中的模态共享挑战（如快速运动、尺度变化和遮挡）以及模态特有挑战（如光照变化和热交叉）。具体而言，我们在每层设计了若干参数共享分支以建模模态共享挑战下的目标外观，并设计了若干参数独立分支以处理模态特有挑战。基于不同模态的特有线索通常包含互补优势的观察，我们提出了一种引导模块，将判别特征从一种模态转移到另一种模态，从而增强某些弱模态的判别能力。此外，所有分支以自适应方式聚合，并并行嵌入骨干网络中，以高效地形成更具判别性的目标表示。这些挑战感知分支能够建模特定挑战下的目标外观，使得即使在训练数据不足的情况下，也能通过少量参数学习目标表示。实验结果表明，我们的方法在三个基准数据集上表现优于SOTA方法的同时，能以实时速度运行。
引用
@article{arxiv.2007.13143,
title = {Challenge-Aware RGBT Tracking},
author = {Chenglong Li and Lei Liu and Andong Lu and Qing Ji and Jin Tang},
journal= {arXiv preprint arXiv:2007.13143},
year = {2020}
}
备注
Accepted by ECCV 2020