SPAC-Net：用于增强姿态估计的合成姿态感知动物ControlNet
计算机视觉与模式识别
2023-06-01 v2
摘要
动物姿态估计已成为一个关键的研究领域，但标注数据的稀缺是开发精确模型的一大挑战。合成数据已成为一种有前景的替代方案，但其常与现实数据存在域差异。已有风格迁移算法被提出以解决此问题，但它们存在空间对应不足的问题，导致标签信息丢失。在本工作中，我们提出一种称为合成姿态感知动物ControlNet（SPAC-Net）的新方法，将ControlNet整合进先前提出的先验感知合成动物数据生成（PASyn）流程中。我们利用基于变分自编码器（VAE）的数据生成流程生成的合理姿态数据作为ControlNet整体嵌套边缘检测（HED）边界任务模型的输入，以生成带有更接近真实数据的姿态标签的合成数据，从而无需真实数据即可训练高精度姿态估计网络。此外，我们提出双ControlNet结构，分别检测动物与背景的HED边界，提高了生成数据的精度与稳定性。使用SPAC-Net流程，我们生成合成斑马与犀牛图像，并在AP10K真实数据集上测试，展现出优于仅使用真实图像或其他方法生成的合成数据的性能。我们的工作展示了合成数据克服动物姿态估计中标注数据有限挑战的潜力。
引用
@article{arxiv.2305.17845,
title = {SPAC-Net: Synthetic Pose-aware Animal ControlNet for Enhanced Pose Estimation},
author = {Le Jiang and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:2305.17845},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2208.13944