领域自适应预训练改进灵长类行为识别
计算机视觉与模式识别
2025-09-16 v1
摘要
用于动物行为的计算机视觉为辅助生态学、认知学研究以及支持保护工作提供了有前景的工具。视频相机陷阱允许进行大规模数据收集，但高昂的标注成本仍然是创建大规模数据集的瓶颈。因此，我们需要数据高效的学习方法。在这项工作中，我们表明可以利用自监督学习来显著改进灵长类行为识别。在两个大型猿类行为数据集 (PanAf 和 ChimpACT) 上，我们分别以 6.1%pt 的准确率和 6.3%pt 的 mAP 超越了已发表的 SOTA 动作识别模型。我们通过利用预训练的 V-JEPA 模型并应用领域自适应预训练 (DAP)，即使用领域内数据继续预训练来实现这一点。我们表明大部分性能提升源于 DAP。我们的方法在改进动物行为识别方面展现出巨大潜力，因为 DAP 不需要标注样本。代码可在 https://github.com/ecker-lab/dap-behavior 获取
引用
@article{arxiv.2509.12193,
title = {Domain-Adaptive Pretraining Improves Primate Behavior Recognition},
author = {Felix B. Mueller and Timo Lueddecke and Richard Vogg and Alexander S. Ecker},
journal= {arXiv preprint arXiv:2509.12193},
year = {2025}
}
备注
Oral at the CVPR 2025 Workshop CV4Animals