AnimalMotionCLIP：将运动嵌入 CLIP 用于动物行为分析
计算机视觉与模式识别
2025-05-02 v1
摘要
近年来，将深度学习技术应用于动物行为识别的兴趣激增，特别是利用预训练的视觉语言模型（如 CLIP），因为它们在各种下游任务中具有显著的泛化能力。然而，将这些模型适应到动物行为识别的特定领域带来了两个重大挑战：整合运动信息和设计有效的时序建模方案。在本文中，我们提出 AnimalMotionCLIP 来应对这些挑战，方法是在 CLIP 框架中交织视频帧和光流信息。此外，我们提出并比较了使用分类器聚合的几种时序建模方案：密集、半密集和稀疏。结果表明，精细的时序动作可以被正确识别，这在动物行为分析中至关重要。在 Animal Kingdom 数据集上的实验表明，与最先进的方法相比，AnimalMotionCLIP 取得了优越的性能。
引用
@article{arxiv.2505.00569,
title = {AnimalMotionCLIP: Embedding motion in CLIP for Animal Behavior Analysis},
author = {Enmin Zhong and Carlos R. del-Blanco and Daniel Berjón and Fernando Jaureguizar and Narciso García},
journal= {arXiv preprint arXiv:2505.00569},
year = {2025}
}
备注
6 pages, 3 figures,Accepted for the poster session at the CV4Animals workshop: Computer Vision for Animal Behavior Tracking and Modeling In conjunction with Computer Vision and Pattern Recognition 2024