如何在不使用人工标注的情况下跟踪与分割鱼类：一种自监督深度学习方法

跟踪鱼类运动和鱼类尺寸对于理解其生态和行为至关重要。了解鱼类迁徙何处、如何与环境相互作用以及其尺寸如何影响行为，可帮助生态学家制定更有效的保护和管理策略以保护鱼类种群及其栖息地。深度学习是从水下视频分析鱼类生态的有力工具。然而，训练用于鱼类跟踪和分割的深度神经网络（DNNs）需要高质量标签，而获取这些标签成本高昂。我们提出了一种替代的无监督方法，该方法依赖视频数据中的空间和时间变化来生成含噪的伪真值标签。我们使用这些伪标签训练一个多任务 DNN。我们的框架包含三个阶段：（1）光流模型利用帧间的空间和时间一致性生成伪标签，（2）自监督模型逐步精炼伪标签，（3）分割网络使用精炼后的标签进行训练。因此，我们进行了大量实验在三个公共水下视频数据集上验证我们的方法，并展示了其在视频标注和分割中的有效性。我们还评估了其对不同成像条件的鲁棒性并讨论了其局限性。