Animal Kingdom：用于动物行为理解的大型多样化数据集

理解动物行为对广泛应用具有重要意义。然而，现有动物行为数据集在多方面存在局限，包括动物类别、数据样本与所提供任务数量有限，以及环境条件与视角的多样性不足。为应对这些局限，我们创建了大型且多样的数据集 Animal Kingdom，提供多种标注任务以实现对自然动物行为更透彻的理解。我们数据集中使用的野生动物影像记录了不同时段、广泛环境中的场景，包含背景、视角、光照与天气条件的变化。更具体地，我们的数据集包含 50 小时标注视频以在长视频中定位相关动物行为片段（视频定位任务），30K 视频序列用于细粒度多标签动作识别任务，以及 33K 帧用于姿态估计任务，对应跨越 6 个主要动物类共 850 个物种的多样动物。这一具挑战且全面的数据集将助力学界开发、适配并评估各类先进动物行为分析方法。此外，我们提出一种协同动作识别（CARe）模型，学习通用与特定特征以识别未见新动物的动作。该方法在我们的实验中取得有前景的性能。我们的数据集可在 https://sutdcv.github.io/Animal-Kingdom 获取。