RT-RMOT：面向 RGB-热成像的 referring 多目标跟踪数据集与框架
计算机视觉与模式识别
2026-02-26 v1
摘要
Referring 多目标跟踪因其人机友好的交互特性而受到越来越多的关注，但在夜间、烟雾等低可见性条件下存在局限。为克服这一限制，我们提出一种新的 RGB-热成像 RMOT 任务，命名为 RT-RMOT，旨在融合 RGB 外观特征与热成像的光照鲁棒性，以实现全天候 referring 多目标跟踪。为推动 RT-RMOT 研究，我们构建了首个基于 RGB-热成像模态的 referring 多目标跟踪数据集，命名为 RefRT。其包含 388 条语言描述、1,250 个跟踪目标以及 166,147 条语言-RGB-热 (L-RGB-T) 三元组。此外，我们提出 RTrack 框架，基于多模态大语言模型 (MLLM) 集成 RGB、热成像和文本特征。由于初始框架仍有提升空间，我们引入基于组序列策略优化 (GSPO) 的策略，以进一步发挥模型潜能。为缓解 RL 微调期间的训练不稳定，我们引入裁剪优势缩放 (CAS) 策略以抑制梯度爆炸。此外，我们设计了结构化输出奖励和综合检测奖励，以平衡探索与开发，从而提高目标感知的完整性和准确性。在 RefRT 数据集上的大量实验表明，所提出的 RTrack 框架有效。
引用
@article{arxiv.2602.22033,
title = {RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking},
author = {Yanqiu Yu and Zhifan Jin and Sijia Chen and Tongfei Chu and En Yu and Liman Liu and Wenbing Tao},
journal= {arXiv preprint arXiv:2602.22033},
year = {2026}
}