从上方观察群体动力学：无人机视频中高级目标跟踪框架

易于获取的传感器，例如配备多种机载传感器的无人机，极大地扩展了在自然环境中研究动物行为的能力。然而，分析海量的、未标记的、通常长达数小时的视频数据，对机器学习，尤其是计算机视觉来说，仍然是一个挑战。现有方法通常只分析少数几帧。我们的重点是长期动物行为分析。为应对这一挑战，我们利用经典的用于状态估计的概率方法，例如粒子滤波。通过结合语义目标分割的最新进展，我们能够持续跟踪快速演变的物体编队，即使在数据可用性有限的场景下也是如此。粒子滤波器提供了一种可证明最优的算法结构，用于递归地添加新传入的信息。我们提出了一种新颖的方法，用于从无人机视频中跟踪开阔海洋中的鱼群。我们的框架不仅执行经典的二维目标跟踪，而是通过融合视频数据和无人机的机载传感器信息（GPS和IMU），在世界坐标系中跟踪鱼群的位置和空间扩展。所提出的框架首次允许研究人员以非侵入式和可扩展的方式，在鱼群的自然社会和环境背景下研究其集体行为。