面向数据高效多视角动物姿态估计的不确定性感知框架
计算机视觉与模式识别
2025-10-14 v1 定量方法
摘要
多视角姿态估计对于量化动物行为至关重要，但当前方法在有限标注数据下难以实现准确跟踪，且不确定性估计较差。我们通过综合创新的训练和后处理技术，以及一种模型蒸馏程序来应对这些挑战，利用这些技术的优势，产生更高效和更有效的姿态估计器。我们的多视角变换器（MVT）利用预训练的主干网络，使其能够同时处理所有视角间的信息，而一种新颖的掩码方案在不进行相机标定的情况下学习鲁棒的跨视角对应关系。对于已标定的设置，我们通过3D数据增广和三角化损失融合几何一致性。我们将现有的Ensemble Kalman Smoother（EKS）后处理器扩展到非线性情形，并通过方差膨胀技术增强不确定性量化。最后，为了利用MVT的扩展属性，我们设计了一种蒸馏程序，利用改进的EKS预测和不确定性估计生成高质量的伪标签，从而减少对手动标签的依赖。我们的框架组件在三个不同的动物种类（苍蝇、小鼠、松鸟）上 consistently 超过现有方法，每个组件都为互补的优势贡献了价值。结果是一个实用的、面向不确定性的姿态估计系统，使其能够在现实世界的数据约束下支持下游行为分析。
引用
@article{arxiv.2510.09903,
title = {An uncertainty-aware framework for data-efficient multi-view animal pose estimation},
author = {Lenny Aharon and Keemin Lee and Karan Sikka and Selmaan Chettih and Cole Hurwitz and Liam Paninski and Matthew R Whiteway},
journal= {arXiv preprint arXiv:2510.09903},
year = {2025}
}