面向鸟类的纹理与形状无关的3D关键点估计
计算机视觉与模式识别
2025-05-23 v1
摘要
本文提出一种纹理无关的方法，用于估计和跟踪多个鸽子的3D关节位置。为此，我们基于现有的3D-MuPPET框架，该框架使用多视角摄像机 setup 估计和跟踪最多10只鸽子的3D姿态。我们通过使用生成个体轮廓的分割方法来估计2D关键点，然后沿用3D-MuPPET，将这些2D关键点三角化以推断3D姿态，并在第一帧中匹配身份并在后续帧中进行2D跟踪。我们提出的纹理无关方法实现的准确率与原始纹理依赖的3D-MuPPET框架相当。此外，我们探索了该方法适用于其他鸟类种类的潜力。为此，我们在不对在鸽子上训练的模型进行额外微调的情况下，推断四种鸟类的2D关节位置，取得了初步令人鼓舞的结果。因此，我们认为该方法为开发更稳健和准确的纹理无关姿态估计框架提供了坚实的基础并激发了其潜力。
引用
@article{arxiv.2505.16633,
title = {Towards Texture- And Shape-Independent 3D Keypoint Estimation in Birds},
author = {Valentin Schmuker and Alex Hoi Hang Chan and Bastian Goldluecke and Urs Waldmann},
journal= {arXiv preprint arXiv:2505.16633},
year = {2025}
}