基于视频帧递归（RoVF）的猫鼬重识别
计算机视觉与模式识别
2024-06-21 v1
摘要
用于动物重识别的深度学习方法对保护产生了重大影响，显著减少了诸如健康监测等许多下游任务所需的时间。我们提出了一种称为视频帧递归（RoVF）的方法，该方法使用基于Perceiver架构的递归头，从视频片段中迭代地构建嵌入。RoVF使用基于视频帧中个体共现的三元组损失进行训练，其中个体ID不可用。我们在惠灵顿动物园收集的猫鼬数据集上测试了该方法以及基于DINOv2 Transformer架构的各种模型。我们的方法达到了49%的top-1重识别准确率，高于最佳DINOv2模型（42%）。我们发现该模型能够匹配人类无法观察到的个体，并且我们的模型（RoVF）在最小微调的情况下表现优于对比方法。在未来的工作中，我们计划通过使用前置任务来改进这些模型，将其应用于动物行为分类，并进行超参数搜索以进一步优化模型。
引用
@article{arxiv.2406.13002,
title = {Recurrence over Video Frames (RoVF) for the Re-identification of Meerkats},
author = {Mitchell Rogers and Kobe Knowles and Gaël Gendron and Shahrokh Heidari and David Arturo Soriano Valdez and Mihailo Azhar and Padriac O'Leary and Simon Eyre and Michael Witbrock and Patrice Delmas},
journal= {arXiv preprint arXiv:2406.13002},
year = {2024}
}
备注
Presented as a poster at the CV4Animals Workshop, CVPR 2024