利用点标注和少样本学习在自主水下航行器图像中检测濒危海洋物种

自主水下航行器（AUV）的用途之一是监测与受威胁、濒危和受保护海洋物种（如澳大利亚塔斯马尼亚的副棘鲛）相关的栖息地。AUV收集的海底图像可用于在更广泛的栖息地背景下识别个体，但收集的图像数量庞大，可能会使定位稀有或隐蔽个体的努力不堪重负。机器学习模型可以使用训练过的目标检测器识别图像中特定物种的存在，但训练样本的缺乏会降低检测性能，尤其是对于在野外可能只有少量样本的稀有物种。本文受近期少样本学习工作的启发，利用常见海洋物种的图像和标注来增强检测器识别稀有和隐蔽物种的能力。六种常见海洋物种的标注图像以两种方式使用。首先，常见物种用于预训练步骤，使骨干网络为海洋物种生成丰富的特征。其次，使用常见物种图像进行复制-粘贴操作以增强训练数据。虽然公共数据集中有更多常见海洋物种的标注，但它们通常是点格式，不适合训练目标检测器。一种流行的语义分割模型从可用的点标注中高效生成用于训练的边界框标注。我们将所提出的框架应用于副棘鲛的AUV图像，与基线目标检测训练相比，平均精度提高了48%。该方法可应用于其他标注数量较少的对象，有望提高主动监测受威胁、濒危和受保护物种的能力。