基于深度学习的多模态传感用于小型四旋翼跟踪与状态提取
计算机视觉与模式识别
2020-12-10 v1 人工智能
机器人学
摘要
本文提出一种基于多传感器的方法来检测、跟踪并定位四旋翼无人 aerial 飞行器（UAV）。具体地，开发了一条处理单目 RGB 与热成像视频（从固定平台捕获）的流水线，以在我们的视场（FoV）中检测并跟踪 UAV。随后使用二维平面激光雷达将像素数据转换为实际距离测量，从而实现 UAV 在全局坐标中的定位。单目数据通过基于深度学习的物体检测方法处理，计算出 UAV 的初始边界框。热数据通过阈值化与 Kalman 滤波方法处理以检测并跟踪边界框。训练与测试数据通过结合在动作捕捉环境中进行的一组原始实验与公开可用的 UAV 图像数据来准备。新流水线相较现有方法表现更优，并在样本实验中展现出有前景的跟踪与定位能力。
引用
@article{arxiv.2012.04794,
title = {Deep Learning based Multi-Modal Sensing for Tracking and State Extraction of Small Quadcopters},
author = {Zhibo Zhang and Chen Zeng and Maulikkumar Dhameliya and Souma Chowdhury and Rahul Rai},
journal= {arXiv preprint arXiv:2012.04794},
year = {2020}
}