T-LEAP：利用时间信息对行走奶牛进行遮挡鲁棒的姿态估计
计算机视觉与模式识别
2024-01-11 v2
摘要
随着奶牛场群规模持续扩大，奶牛自动健康监测日益受到关注。跛行是奶牛中普遍的健康障碍，通常通过分析了奶牛的步态来检测。奶牛的步态可使用姿态估计模型在视频中追踪，因为模型学会自动定位图像和视频中的解剖标志点。大多数动物姿态估计模型是静态的，即视频逐帧处理且不使用任何时间信息。在本工作中，一个用于动物姿态估计的静态深度学习模型被扩展为包含来自过去帧信息的时间模型。我们比较了静态与时间姿态估计模型的性能。数据由从30头不同奶牛穿过户外通道的视频（30 fps）中提取的1059个4连续帧样本组成。由于农场环境易发生遮挡，我们通过向视频添加人工遮挡来测试静态与时间模型的鲁棒性。实验表明，在无遮挡数据上，静态与时间方法均达到了99%的正确关键点百分比([email protected])。在遮挡数据上，我们的时间方法比静态方法高出至多32.9%，表明在时间易发遮挡的环境（如奶牛场）中使用时间数据有利于姿态估计。时间模型的泛化能力通过将其测试于包含未知奶牛（训练集中未出现的奶牛）的数据来评估。结果显示，已知奶牛的平均 [email protected] 为93.8%，未知奶牛为87.6%，表明该模型能很好地泛化到新奶牛，并且可轻松微调至新牛群。最后，我们展示了在更难的任务（如遮挡和未知奶牛）上，更深的架构更有益。
引用
@article{arxiv.2104.08029,
title = {T-LEAP: Occlusion-robust pose estimation of walking cows using temporal information},
author = {Helena Russello and Rik van der Tol and Gert Kootstra},
journal= {arXiv preprint arXiv:2104.08029},
year = {2024}
}