WildLive：载人无人机上近实时野生动物视觉跟踪
计算机视觉与模式识别
2025-05-26 v3 人工智能
摘要
通过高分辨率视频处理直接在无人机上进行野生动物实时跟踪研究鲁莽且现有解决方案大多依赖将视频流传输至地面站以支持导航。然而，超越视觉范围的自主动物响应飞行控制和/或特定任务的单个个体和行为识别任务在一定程度上依赖于这一能力。为此，我们引入 WildLive - 一个在高分辨率图像上运行的近实时动物检测和跟踪框架，直接部署在无人机（UAV）上。该系统可在 HD 和 4K 视频流上实现 17.81fps 和 7.53fps 的多动物检测跟踪，适合在更高飞行高度时运行以最小化动物干扰。我们的系统针对 Jetson Orin AGX onboard 硬件进行优化。它集成了稀疏光流跟踪和任务特定抽样的效率，以及面向硬件优化且经验证的 YOLO 驱动的目标检测和分割技术。本质上，将计算资源集中于不确定性高的时空区域，可显著提升无人机处理速度。我们还引入了 WildLive 数据集，包含来自肯尼亚奥佩杰塔 Conservancy 的 4K 无人机视频中 200K+ 标注动物实例和 19K+ 帧，所有帧包含 ground truth 边界框、分割掩码，以及 individual tracklet 和 tracking point 轨迹。我们将系统与当前对象跟踪方法（包括 OC-SORT、ByteTrack 和 SORT）进行比较。我们的多动物跟踪实验在 onboard 硬件上确认，尽管维持高准确率，野生动物近实时高分辨率跟踪在无人机上是可行的，以满足未来导航和以动物为中心的任务自主性需求。我们的材料已公开于：https://dat-nguyenvn.github.io/WildLive/。
引用
@article{arxiv.2504.10165,
title = {WildLive: Near Real-time Visual Wildlife Tracking onboard UAVs},
author = {Nguyen Ngoc Dat and Tom Richardson and Matthew Watson and Kilian Meier and Jenna Kline and Sid Reid and Guy Maalouf and Duncan Hine and Majid Mirmehdi and Tilo Burghardt},
journal= {arXiv preprint arXiv:2504.10165},
year = {2025}
}