DCPT：夜间无人机中基于黑暗线索提示的跟踪
计算机视觉与模式识别
2024-03-15 v4 机器人学
摘要
现有的夜间无人机 (UAV) 跟踪器遵循“先增强后跟踪”架构——首先使用光照增强器提亮夜间视频，然后采用日间跟踪器定位目标。这种分离的增强与跟踪未能构建端到端可训练的视觉系统。为此，我们提出了一种称为黑暗线索提示跟踪 (Darkness Clue-Prompted Tracking, DCPT) 的新架构，它通过高效学习生成黑暗线索提示来实现夜间鲁棒的无人机跟踪。无需单独的增强器，DCPT 利用黑暗线索提示器 (DCP) 将抗暗能力直接编码到提示中。具体而言，DCP 迭代地学习针对黑暗线索的强调与削弱投影，随后将这些学习到的视觉提示注入到具有跨 transformer 层固定参数的日间跟踪器中。此外，门控特征聚合机制实现了提示之间以及提示与基础模型之间的自适应融合。大量实验表明 DCPT 在多个暗场景基准上取得了最先进 (SOTA) 性能。DCPT 中增强与跟踪的统一端到端学习实现了更具可训练性的系统。黑暗线索提示在不引入额外模块的情况下高效注入了抗暗知识。代码见 https://github.com/bearyi26/DCPT。
引用
@article{arxiv.2309.10491,
title = {DCPT: Darkness Clue-Prompted Tracking in Nighttime UAVs},
author = {Jiawen Zhu and Huayi Tang and Zhi-Qi Cheng and Jun-Yan He and Bin Luo and Shihao Qiu and Shengming Li and Huchuan Lu},
journal= {arXiv preprint arXiv:2309.10491},
year = {2024}
}
备注
Accepted by ICRA2024