基于上下文驱动的深海视频无脊椎动物物种检测
计算机视觉与模式识别
2023-02-23 v1
摘要
每年，水下遥控潜水器（ROV）都会采集数千小时 unexplored 海洋栖息地的视频，揭示关于地球生物多样性的大量信息。然而，充分利用这些信息仍具挑战，因为恰当的标注和分析需要受过训练的科学家的时间，而这既有限又昂贵。为此，我们提出水下基底与无脊椎动物分析数据集（DUSIA），这是一个基准套件并不断增长的的大规模数据集，用于训练、验证和测试方法，以在时间上定位四种水下基底，以及在时间和空间上定位59种水下无脊椎动物物种。DUSIA目前包含超过十小时的 footage，来自25段视频，这些视频由一台ROV在加州海峡群岛附近海底沿预规划样带以1080p、30 fps拍摄。每段视频包含标注，指示整段视频中基底的起始和结束时间，以及感兴趣物种的计数。部分帧标注了感兴趣无脊椎动物物种的精确边界框位置，如图1所示。据我们所知，DUSIA是首个用于深海探测的此类数据集，具有移动相机拍摄的视频，包含基底标注以及存在于阳光无法穿透的显著深度处的无脊椎动物物种。此外，我们提出新颖的上下文驱动目标检测器（CDD），其中我们使用显式基底分类来影响目标检测网络，以同时预测受该基底影响的基底和物种类别。我们还提出一种改进部分标注边界框帧训练的方法。最后，我们提供一种用于自动计数感兴趣无脊椎动物物种的基线方法。
引用
@article{arxiv.2206.00718,
title = {Context-Driven Detection of Invertebrate Species in Deep-Sea Video},
author = {R. Austin McEver and Bowen Zhang and Connor Levenson and A S M Iftekhar and B. S. Manjunath},
journal= {arXiv preprint arXiv:2206.00718},
year = {2023}
}