MARINE：用于检测动物视频中罕见捕食者-猎物相互作用的计算机视觉模型
计算机视觉与模式识别
2024-08-06 v2
摘要
捕食者与猎物之间的相遇在生态系统中发挥着 essential 作用，但其罕见性使得在视频记录中检测困难。尽管动作识别 (AR) 和时间动作检测 (AD)，特别是基于转换器的模型和视觉基础模型，在人类动作数据集上取得了高性能，但动物视频仍相对缺乏研究。本 thesis 通过提出 MARINE 模型来弥合这一差距，该模型利用为快速动物动作设计的基于运动的帧选择方法，以及用于动作识别的 DINOv2 特征提取和可训练分类头。MARINE 在识别鱼类视频中的捕食者攻击方面优于 VideoMAE，分别在小型且特定的珊瑚礁数据集上 (准确率 81.53% 对 52.64%)，以及在更广泛的 Animal Kingdom 数据集的子集上 (准确率 94.86% 对 83.14%)。在 Animal Kingdom 的 representative sample 上以 multi-label setting 进行实验，MARINE 实现了 23.79% mAP，位于现有基准中处于 mid-field。此外，在 Animal Kingdom 数据集的 representative sample 上进行的 AD 任务中，MARINE 实现了 80.78% 的平均精度 (AP)，对 VideoMAE 的 34.89%。因此，尽管仍有提升空间，MARINE 提供了一个有效的框架，可用于 animal recordings 中的 AR 和 AD 任务，从而为自然生态系统的研究作出贡献。
引用
@article{arxiv.2407.18289,
title = {MARINE: A Computer Vision Model for Detecting Rare Predator-Prey Interactions in Animal Videos},
author = {Zsófia Katona and Seyed Sahand Mohammadi Ziabari and Fatemeh Karimi Nejadasl},
journal= {arXiv preprint arXiv:2407.18289},
year = {2024}
}
备注
This is an MSc thesis by Zsofia Katona, supervised by the two other authors