SharkTrack：用于简化鲨鱼和鳐鱼水下视频分析的精确且可泛化软件
计算机视觉与模式识别
2024-10-03 v3 机器学习
软件工程
摘要
板鳃亚纲动物（鲨鱼和鳐鱼）是海洋生态系统的关键组成部分。然而，它们正面临全球种群下降，有效监测种群对其保护至关重要。水下定点视频，如诱饵式水下遥控视频站（BRUVS）的视频，对于理解板鳃亚纲动物的空间生态和丰度至关重要。然而，处理这些视频需要耗时的人工分析，可能延误保护工作。为应对这一挑战，我们开发了 SharkTrack，一款半自动水下视频分析软件。SharkTrack 利用卷积神经网络（CNN）和多目标跟踪自动检测和追踪板鳃亚纲动物，并提供人工标注流水线以手动分类板鳃亚纲动物物种和计算物种特定最大数量（ssMaxN），这是相对丰度的标准度量。在训练时 CNN 模型未见过的 BRUVS 影像上测试时，SharkTrack 在 207 小时影像上以 89% 的准确率计算 ssMaxN。半自动 SharkTrack 流水线每小时的视频仅需两分钟的人工分类，相比传统方法估计减少了 95% 的人工分析时间。此外，我们展示了 SharkTrack 在多样化海洋生态系统和板鳃亚纲动物物种上的准确性，这是对先前仅限特定物种或地点的模型的进步。SharkTrack 的应用超越 BRUVS，可促进任何水下定点视频的分析。通过使视频分析更快、更易获取，SharkTrack 使研究和保护组织能够更高效地监测板鳃亚纲动物种群，从而改善保护工作。为进一步支持这些目标，我们公开提供 SharkTrack 软件。
引用
@article{arxiv.2407.20623,
title = {SharkTrack: an accurate, generalisable software for streamlining shark and ray underwater video analysis},
author = {Filippo Varini and Joel H. Gayford and Jeremy Jenrette and Matthew J. Witt and Francesco Garzon and Francesco Ferretti and Sophie Wilday and Mark E. Bond and Michael R. Heithaus and Danielle Robinson and Devon Carter and Najee Gumbs and Vincent Webster and Ben Glocker},
journal= {arXiv preprint arXiv:2407.20623},
year = {2024}
}