Animal3D：一个全面的 3D 动物姿态与形状数据集
计算机视觉与模式识别
2024-01-23 v2 机器学习
摘要
准确估计 3D 姿态与形状是理解动物行为的关键步骤，并可能惠及野生动物保护等许多下游应用。然而，该领域的研究受限于缺乏带有高质量 3D 姿态与形状标注的全面且多样的数据集。本文提出 Animal3D，这是首个面向哺乳动物动物 3D 姿态与形状估计的全面数据集。Animal3D 包含从 40 种哺乳动物物种收集的 3379 张图像、26 个关键点的高质量标注，以及尤为重要的 SMAL 模型的姿态与形状参数。所有标注均经过多阶段人工标记与核查，以确保最高质量。基于 Animal3D 数据集，我们在以下设定下对具代表性的形状与姿态估计模型进行基准测试：(1) 仅用 Animal3D 数据监督学习，(2) 从合成生成图像进行合成到真实迁移，(3) 微调人体姿态与形状估计模型。实验结果表明，尽管人体姿态估计已取得显著进展，跨物种预测动物 3D 形状与姿态仍是一项极具挑战的任务。结果进一步表明，合成预训练是提升模型性能的可行策略。总体而言，Animal3D 为促进未来动物 3D 姿态与形状估计研究开辟了新方向，并已公开可用。
引用
@article{arxiv.2308.11737,
title = {Animal3D: A Comprehensive Dataset of 3D Animal Pose and Shape},
author = {Jiacong Xu and Yi Zhang and Jiawei Peng and Wufei Ma and Artur Jesslen and Pengliang Ji and Qixin Hu and Jiehua Zhang and Qihao Liu and Jiahao Wang and Wei Ji and Chen Wang and Xiaoding Yuan and Prakhar Kaushik and Guofeng Zhang and Jie Liu and Yushan Xie and Yawen Cui and Alan Yuille and Adam Kortylewski},
journal= {arXiv preprint arXiv:2308.11737},
year = {2024}
}
备注
11 pages, 5 figures, link to the dataset: https://xujiacong.github.io/Animal3D/