基于航空影像的零样本鲨鱼追踪与生物特征识别
计算机视觉与模式识别
2025-01-13 v1 人工智能
定量方法
摘要
近期无人机在海洋动物研究中的广泛应用，为从航空影像中提取生物学信息提供了机会。从无人机获取的大规模影像数据非常适合机器学习（ML）分析。分析海洋动物航空影像的 ML 模型开发遵循了经典范式，即为每个数据集训练、测试和部署一个新模型，这需要大量的时间、人力和 ML 专业知识。我们引入了帧级对齐与追踪（FLAIR），它利用了 Segment Anything Model 2（SAM2）的视频理解能力和对比语言-图像预训练（CLIP）的视觉语言能力。FLAIR 将无人机视频作为输入，并输出整个视频中目标物种的分割掩码。值得注意的是，FLAIR 采用零样本方法，无需标注数据、训练新模型或微调现有模型即可泛化到其他物种。利用包含 18,000 张太平洋护士鲨无人机图像的数据集，我们训练了最先进的目标检测模型与 FLAIR 进行比较。我们表明，FLAIR 大幅优于这些目标检测器，并与两种人在回路（human-in-the-loop）的 SAM2 提示方法表现相当，Dice 得分达到 0.81。FLAIR 无需额外人力即可轻松泛化到其他鲨鱼物种，并可结合新颖的启发式方法自动提取相关信息，包括长度和尾拍频率。FLAIR 具有加速航空影像分析工作流的巨大潜力，所需的人力和专业知识明显少于传统的机器学习工作流，同时实现了更高的准确率。通过降低航空影像分析所需的工作量，FLAIR 使科学家能够将更多时间用于解释结果和获取关于海洋生态系统的见解。
引用
@article{arxiv.2501.05717,
title = {Zero-shot Shark Tracking and Biometrics from Aerial Imagery},
author = {Chinmay K Lalgudi and Mark E Leone and Jaden V Clark and Sergio Madrigal-Mora and Mario Espinoza},
journal= {arXiv preprint arXiv:2501.05717},
year = {2025}
}