SHOWMe：面向物体无关的手-物三维重建基准数据集
计算机视觉与模式识别
2023-09-20 v1 人工智能
图形学
机器学习
机器人学
摘要
近期的手-物交互数据集表现出真实的物体多样性有限，并且依赖拟合MANO参数化模型来获取真实手形。为超越这些局限并推动进一步研究，我们引入了SHOWMe数据集，其包含96段视频，标注有真实且精细的手-物三维带纹理网格。遵循近期工作，我们考虑刚性手-物场景，即整个视频序列中手相对于物体的姿态保持恒定。该假设使我们能够将亚毫米精度的真实三维扫描配准到SHOWMe的图像序列中。尽管更为简单，这一假设在需要重要精度和细节水平的应用方面是合理的，例如人机协作中的物体递接、物体扫描或操控与接触点分析。重要的是，手-物系统的刚性使得可以利用由刚性配准步骤和多视重建（MVR）部分构成的两阶段流水线来处理基于视频的未知手持物体三维重建。我们仔细评估了这两阶段的一组非平凡基线方法，并表明使用SfM工具箱或手姿态估计器恢复刚性变换以及现成的MVR算法，即可实现有前景的物体无关三维手-物重建。然而，这些方法对初始相机姿态估计仍然敏感，而由于物体缺乏纹理或手部严重遮挡，初始估计可能不精确，从而为重建改进留下了空间。代码与数据集可在 https://europe.naverlabs.com/research/showme 获取。
引用
@article{arxiv.2309.10748,
title = {SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction},
author = {Anilkumar Swamy and Vincent Leroy and Philippe Weinzaepfel and Fabien Baradel and Salma Galaaoui and Romain Bregier and Matthieu Armando and Jean-Sebastien Franco and Gregory Rogez},
journal= {arXiv preprint arXiv:2309.10748},
year = {2023}
}
备注
Paper and Appendix, Accepted in ACVR workshop at ICCV conference