BaboonLand数据集：在野外追踪灵长类动物并从无人机视频中自动识别行为
计算机视觉与模式识别
2024-06-05 v3
摘要
使用无人机在自然环境中同时追踪多个个体是更好地理解群体灵长类动物行为的一种强大方法。先前的研究已经证明，从视频数据中自动分类灵长类动物行为是可能的，但这些研究是在圈养环境中或使用地面摄像机进行的。为了理解群体行为和集体的自组织，需要在一个能够看到行为与做出生态决策的自然环境相关联的尺度上观察整个群体。本研究提出了一个来自无人机视频的新数据集，用于狒狒的检测、追踪和行为识别。狒狒检测数据集是通过手动用边界框标注无人机视频中的所有狒狒创建的。随后应用了一种分块方法，从原始的5.3K分辨率图像中创建不同尺度的图像金字塔，产生了大约30K张用于狒狒检测的图像。追踪数据集源自检测数据集，其中所有边界框在整个视频中被分配相同的ID。这个过程产生了半小时非常密集的追踪数据。行为识别数据集是通过将轨迹转换为迷你场景（以每只动物为中心的视频子区域）生成的；每个迷你场景被手动标注了12种不同的行为类型，产生了超过20小时的数据。基准测试结果显示，YOLOv8-X检测模型的平均精度均值(mAP)为92.62%，BotSort追踪算法的多目标追踪精度(MOTA)为63.81%，X3D行为识别模型的微top-1准确率为63.97%。使用深度学习从无人机镜头中分类野生动物行为，有助于以非侵入性的方式洞察整个群体的集体行为。
引用
@article{arxiv.2405.17698,
title = {BaboonLand Dataset: Tracking Primates in the Wild and Automating Behaviour Recognition from Drone Videos},
author = {Isla Duporge and Maksim Kholiavchenko and Roi Harel and Scott Wolf and Dan Rubenstein and Meg Crofoot and Tanya Berger-Wolf and Stephen Lee and Julie Barreau and Jenna Kline and Michelle Ramirez and Charles Stewart},
journal= {arXiv preprint arXiv:2405.17698},
year = {2024}
}
备注
Dataset will be published shortly