基于深度神经网络的多微型飞行器协同视觉跟踪
机器人学
2023-12-21 v1 图像与视频处理
摘要
户外环境中对人体和动物的多相机全身姿态捕捉是一个极具挑战性的问题。我们的方法仅依靠一支搭载机载摄像头的协同微型飞行器（MAV）团队。该方法的关键赋能环节在于机载人体检测与跟踪方法。在此背景下，基于深度神经网络（DNN）的最新先进方法极具前景。然而，实时 DNN 在输入数据维度上受到严重限制，这与可用相机分辨率形成反差。因此，DNN 常在小尺度或远离摄像头的物体上失效，而这正是空中机器人场景的典型特征。因此，本文解决的核心问题是如何利用 DNN 通过 MAV 实现机载、实时、连续且准确的基于视觉的人体检测以进行视觉跟踪。我们的方案利用了多个 MAV 之间的协作。首先，每个 MAV 将其自身的检测与其他 MAV 获得的检测相融合，以执行协同视觉跟踪。这使得能够预测被跟踪人物的未来姿态，并用于仅选择性地处理未来图像的相关区域，即便在高分辨率下也是如此。因此，使用我们基于 DNN 的检测器，我们能够以高精度和速度连续跟踪甚至远处的人体。我们通过涉及两个空中机器人跟踪一个人并保持主动感知驱动编队的真实机器人实验证明了我们方法的效率。我们的解决方案完全运行在我们 MAV 的 CPU 和 GPU 上，无远程处理。我们提供了基于 ROS 的源代码以惠及社区。
引用
@article{arxiv.1802.01346,
title = {Deep Neural Network-based Cooperative Visual Tracking through Multiple Micro Aerial Vehicles},
author = {Eric Price and Guilherme Lawless and Heinrich H. Bülthoff and Michael Black and Aamir Ahmad},
journal= {arXiv preprint arXiv:1802.01346},
year = {2023}
}