鸟类的时间一致性三维重建
计算机视觉与模式识别
2024-08-27 v1
摘要
本文研究海鸟的三维重建，海鸟作为有价值的环境变化生物指示物，最近已成为环境科学家的关注焦点。此类三维信息有助于分析鸟类的行为和生理形态，例如通过跟踪运动、形状和外观变化。从计算机视觉的角度来看，鸟类因其快速且通常为非刚体的运动而特别具有挑战性。我们提出了一种方法，从特定海鸟品种——崖海鸦的单目视频中重建其三维姿态和形状。我们的方法包含检测、跟踪、分割和时间一致性三维重建的完整流程。此外，我们提出了一种时间损失，将当前的单图像三维鸟类姿态估计器扩展到时间域。此外，我们提供了一个真实世界数据集，包含平均同时捕捉九只鸟的10000帧视频观测，涵盖大量运动和交互，包括一个带有鸟类特定关键点标签的较小测试集。利用我们的时间优化，我们在数据集中具有挑战性的序列上实现了最先进的性能。
引用
@article{arxiv.2408.13629,
title = {Temporally-consistent 3D Reconstruction of Birds},
author = {Johannes Hägerlind and Jonas Hentati-Sundberg and Bastian Wandt},
journal= {arXiv preprint arXiv:2408.13629},
year = {2024}
}