Track Anything Rapter (TAR) —— 追踪一切猛禽
计算机视觉与模式识别
2024-05-30 v2 人工智能
机器人学
摘要
目标跟踪是计算机视觉中的一项基本任务，在交通监控、机器人技术和自动驾驶车辆跟踪等多个领域具有广泛的实际应用。在本项目中，我们旨在开发一个名为Track Anything Rapter (TAR)的先进空中飞行器系统，该系统能够根据用户提供的多模态查询（如文本、图像和点击）来检测、分割和跟踪感兴趣的目标。TAR利用DINO、CLIP和SAM等前沿预训练模型来估计查询目标的相对姿态。跟踪问题被当作视觉伺服任务来处理，使无人机能够通过先进的运动规划和控制算法持续聚焦于目标。我们展示了如何将这些基础模型与自定义的高级控制算法集成，从而在基于PX4自动驾驶仪的自制Voxl2 M500无人机上部署一个高度稳定和精确的跟踪系统。为了验证跟踪算法的性能，我们将其与基于Vicon的真实数据进行对比。此外，我们评估了基础模型在遮挡情况下辅助跟踪的可靠性。最后，我们测试并验证了模型与多种模态（如点击、边界框和图像模板）无缝协作的能力。
引用
@article{arxiv.2405.11655,
title = {Track Anything Rapter(TAR)},
author = {Tharun V. Puthanveettil and Fnu Obaid ur Rahman},
journal= {arXiv preprint arXiv:2405.11655},
year = {2024}
}