基于 3D 点云的 Sim2real 小牛关节估计
机器人学
2024-11-28 v2
摘要
理解小牛的健康状况在 various agricultural contexts 中至关重要。小牛的身体形状和关节装配携带着关于其福祉的重要信息，但获取针对 3D 身体姿态估计的完整数据集 presents a formidable challenge。本研究专注于为小牛构建此类数据集。凭借数字艺术家的专业知识，我们使用单个动画 3D 模型来表示多样化的小牛姿态。为解决虚拟数据与真实世界数据之间的差异，我们扩展了 3D 模型的形状，以包含多种潜在的身体外观，从而缩小 'sim2real' 差距。我们利用这些标注模型训练一个深度学习框架，仅基于外部表面曲率即可估计内部关节。我们的贡献在于采用曲面流形上的测地距离，结合多极化方法从语义关键点检测编码器-解码器架构中提取关节。通过将在真实小牛上进行的 mobbing 和行走中提取的链长进行比较，我们展示了关节提取的鲁健性。此外，受已建立的哺乳动物骨长与整体身高之间 allometric 关系的启发，我们利用估计的关节来预测真实小牛数据集中的髋部高度，从而将方法的实用性扩展到为改进小牛监控实践提供见解。
引用
@article{arxiv.2410.14419,
title = {Sim2real Cattle Joint Estimation in 3D point clouds},
author = {Mohammad Okour and Raphael Falque and Alen Alempijevic},
journal= {arXiv preprint arXiv:2410.14419},
year = {2024}
}