先验感知合成数据来救援：在极少真实数据下的动物姿态估计
计算机视觉与模式识别
2022-08-31 v1
摘要
准确标注的图像数据集是从动物姿态研究其行为的重要组成部分。与我们所知和可能存在的物种数量相比，现有的标注姿态数据集仅覆盖了其中一小部分，而构建全面的大规模数据集成本高昂得令人望而却步。在此，我们提出一种针对四足动物姿态估计的极高数据效率策略，该策略仅需来自目标动物的少量真实图像。已证实，在 ImageNet 等通用图像数据集上以预训练权重微调骨干网络，可通过提前学习目标分割与关键点估计的先验知识，缓解对目标动物姿态数据的高需求并缩短训练时间。然而，当面临严重数据稀缺（即 真实图像）时，模型性能仍不尽如人意，尤其是对于具有相当灵活性的四肢和若干相似部件。因此我们引入一种称为 PASyn 的先验感知合成动物数据生成流水线，以增强对鲁棒姿态估计至关重要的动物姿态数据。PASyn 通过在多个动画 3D 动物模型上训练变分生成模型，生成概率有效的合成姿态数据集 SynAP。此外，利用风格迁移策略将合成动物图像融入真实背景。我们使用三种流行的骨干网络评估本方法带来的改进，并在公开可用的动物姿态图像以及从动物园真实动物采集的图像上测试其姿态估计精度。
引用
@article{arxiv.2208.13944,
title = {Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data},
author = {Le Jiang and Shuangjun Liu and Xiangyu Bai and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:2208.13944},
year = {2022}
}