APT-36K：用于动物姿态估计与跟踪的大规模基准数据集
计算机视觉与模式识别
2022-10-14 v2
摘要
动物姿态估计与跟踪(APT)是从视频帧序列中检测和跟踪动物关键点的基础任务。以往的动物相关数据集要么关注动物跟踪，要么关注单帧动物姿态估计，从未兼顾两方面。APT数据集的缺失阻碍了基于视频的动物姿态估计与跟踪方法的开发与评估，限制了诸如野生动物保护中动物行为理解等实际应用。为填补此空白，我们迈出第一步，提出APT-36K，即首个用于动物姿态估计与跟踪的大规模基准数据集。具体而言，APT-36K由从30个动物物种收集并筛选的2400个视频片段组成，每个视频15帧，总计36000帧。经人工标注与仔细复核，为所有动物实例提供了高质量的关键点与跟踪标注。基于APT-36K，我们在以下三个赛道上对若干代表性模型进行基准测试：(1)在域内与跨域迁移学习设置下的单帧监督动物姿态估计，(2)针对未见动物的跨物种域泛化测试，以及(3)结合动物跟踪的动物姿态估计。基于实验结果，我们获得了一些经验性见解，并表明APT-36K提供了一个有价值的动物姿态估计与跟踪基准，为未来研究带来新挑战与机遇。代码与数据集将公开于 https://github.com/pandorgan/APT-36K。
引用
@article{arxiv.2206.05683,
title = {APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking},
author = {Yuxiang Yang and Junjie Yang and Yufei Xu and Jing Zhang and Long Lan and Dacheng Tao},
journal= {arXiv preprint arXiv:2206.05683},
year = {2022}
}
备注
Neurips 2022 dataset and benchmark track