用于相机空间三维手姿估计的神经投票场
计算机视觉与模式识别
2023-05-09 v1
摘要
我们提出了一种基于三维隐式表示的从单张 RGB 图像进行相机空间三维手姿估计的统一框架。与近期多数工作先采用整体或像素级稠密回归获得相对三维手姿，再辅以复杂第二阶段操作恢复三维全局根节点或尺度不同，我们提出了一种新颖的统一三维稠密回归方案，通过相机视锥体内稠密三维逐点投票来估计相机空间三维手姿。受用于三维细节重建的像素对齐隐式函数启发，我们所提出的神经投票场（NVF）在三维域中直接进行稠密建模，充分建模三维稠密局部证据与手部全局几何，有助于缓解常见的二维到三维歧义。具体而言，对于相机视锥体中的三维查询点及其像素对齐图像特征，由多层感知机表示的 NVF 回归：(i) 其到手表面的符号距离；(ii) 一组 4D 偏移向量（1D 投票权重与指向各手部关节的 3D 方向向量）。遵循投票施放方案，选取近表面点的 4D 偏移向量，通过加权平均计算三维手部关节坐标。实验表明，在 FreiHAND 数据集上，NVF 在相机空间三维手姿估计中优于现有最先进算法。我们也将 NVF 适配于经典的根相对三维手姿估计任务，其在 HO3D 数据集上同样取得最先进结果。
引用
@article{arxiv.2305.04328,
title = {Neural Voting Field for Camera-Space 3D Hand Pose Estimation},
author = {Lin Huang and Chung-Ching Lin and Kevin Lin and Lin Liang and Lijuan Wang and Junsong Yuan and Zicheng Liu},
journal= {arXiv preprint arXiv:2305.04328},
year = {2023}
}
备注
Accepted to CVPR 2023