鼠与姿态:基于无标注数据与合成先验的二维小鼠姿态估计
计算机视觉与模式识别
2023-07-26 v1
摘要
生态学、生物学与神经科学等众多领域利用动物记录来追踪和测量动物行为。随时间推移,此类数据已被大量产生,但部分计算机视觉技术因缺乏标注而无法利用。为此,我们提出一种利用合成生成的经验姿态先验从无标注图像中估计二维小鼠身体姿态的方法。我们的方案基于近期一种用于估计二维人体姿态的自监督方法,该方法在 GAN 框架下使用单张图像及一组未配对的典型二维姿态。我们将此方法适配于小鼠的肢体结构,并从合成三维小鼠模型生成二维姿态的经验先验,从而避免人工标注。在一个新的小鼠视频数据集上的实验中,我们通过将姿态预测与人工获取的 ground truth 比较来评估该方法性能。我们还将预测结果与一种用于动物姿态估计的 supervised state-of-the-art 方法进行比较。尽管缺乏配对训练数据,后一评估显示出有前景的结果。最后,使用马图像数据集的定性结果表明该设定适应其他动物物种的潜力。
引用
@article{arxiv.2307.13361,
title = {Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior},
author = {Jose Sosa and Sharn Perry and Jane Alty and David Hogg},
journal= {arXiv preprint arXiv:2307.13361},
year = {2023}
}
备注
Accepted at the International Conference on Computer Vision Systems 2023