基于自然语言建模的坐标感知热红外跟踪
计算机视觉与模式识别
2024-07-29 v3
摘要
热红外 (TIR) 跟踪因其全天候成像能力而在计算机视觉任务中至关重要。传统跟踪方法主要依赖手工特征，而深度学习虽引入了相关滤波技术，但往往受限于原始相关运算。此外，基于 transformer 的方法往往忽视时间和坐标信息，而这对缺乏纹理和颜色信息的 TIR 跟踪至关重要。为此，本文应用自然语言建模技术用于 TIR 跟踪，提出一种称为 NLMTrack 的坐标感知热红外跟踪模型，以增强坐标和时间信息的利用。NLMTrack 使用一种编码器统一特征提取与特征融合，简化了 TIR 跟踪流程。为解决 TIR 图像细节不足和对比度低的难题，本文一方面设计多级渐进融合模块以增强语义表征并融合多尺度特征；另一方面，解码器通过因果 transformer 组合 TIR 特征与坐标序列特征，逐步生成目标序列。此外，我们还探讨了旨在提升跟踪精度的自适应损失函数以及一种简易的模板更新策略，以适应目标外观变化。实验表明，NLMTrack 在多个基准数据集上实现了最先进的性能。代码已公开于 \url{https://github.com/ELOESZHANG/NLMTrack}。
引用
@article{arxiv.2407.08265,
title = {Coordinate-Aware Thermal Infrared Tracking Via Natural Language Modeling},
author = {Miao Yan and Ping Zhang and Haofei Zhang and Ruqian Hao and Juanxiu Liu and Xiaoyang Wang and Lin Liu},
journal= {arXiv preprint arXiv:2407.08265},
year = {2024}
}