HOISDF：利用全局有符号距离场约束三维手 - 物体姿态估计
计算机视觉与模式识别
2024-02-28 v1
摘要
人手具有高度关节化和操作物体的灵活性。由于频繁遮挡，从单目相机联合估计手及其操作物体的三维姿态具有挑战性。因此，现有方法通常依赖中间三维形状表示来提高性能。这些表示通常是显式的，如三维点云或网格，因此仅提供中间手姿态估计直接周围环境的信息。为解决这一问题，我们引入了 HOISDF，一种由有符号距离场 (SDF) 引导的手 - 物体姿态估计网络，该网络联合利用手和物体的 SDF，在整个重建体积上提供全局隐式表示。具体而言，SDF 的作用有三重：为视觉编码器配备隐式形状信息，帮助编码手 - 物体交互，并通过基于 SDF 的采样和增强特征表示来引导手和物体姿态回归。我们表明，HOISDF 在手 - 物体姿态估计基准测试（DexYCB 和 HO3Dv2）上达到了最先进 (SOTA) 的结果。代码地址：https://github.com/amathislab/HOISDF
引用
@article{arxiv.2402.17062,
title = {HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields},
author = {Haozhe Qi and Chen Zhao and Mathieu Salzmann and Alexander Mathis},
journal= {arXiv preprint arXiv:2402.17062},
year = {2024}
}
备注
Accepted at CVPR 2024. 9 figures, many tables