ChimpVLM：基于行为谱增强的黑猩猩行为识别
计算机视觉与模式识别
2024-04-16 v1 人工智能
机器学习
摘要
我们证明，通过为视觉架构提供描述物种行为的文本描述的嵌入，可以增强对相机陷阱视频中黑猩猩行为的理解。具体而言，我们提出了一种视觉-语言模型，该模型利用从相机陷阱视频中直接提取的视觉特征进行多模态解码，以处理表示行为的查询令牌并输出类别预测。查询令牌使用标准化的黑猩猩行为谱进行初始化，而非随机或基于名称的初始化。此外，我们还探索了使用在已知行为模式文本语料库上微调的掩码语言模型来初始化查询令牌的效果。我们在 PanAf500 和 PanAf20K 数据集上评估了我们的系统，并分别展示了我们的多模态解码方法和查询初始化策略在多类和标签识别任务上的性能优势。结果和消融实验证实了性能的提升。在 PanAf500 上，我们的方法在 top-1 准确率上超越了视觉和视觉-语言模型，达到了最优性能（+6.34%）；在 PanAf20K 上，整体平均精度均值（+1.1%）和尾部类别平均精度均值（+2.26%）均达到最优。我们共享完整的源代码和网络权重，以确保结果的完全可复现性和易于使用。
引用
@article{arxiv.2404.08937,
title = {ChimpVLM: Ethogram-Enhanced Chimpanzee Behaviour Recognition},
author = {Otto Brookes and Majid Mirmehdi and Hjalmar Kuhl and Tilo Burghardt},
journal= {arXiv preprint arXiv:2404.08937},
year = {2024}
}