基于残差置换等变层与点对位姿投票的手部姿态估计
计算机视觉与模式识别
2018-12-06 v1
摘要
近来，基于3D输入数据的手部姿态估计方法展现出最优性能，因为3D数据比深度图像捕获更多空间信息。然而基于3D体素的方法需要大量内存，而基于PointNet的方法需要繁琐的预处理步骤，如对每个点进行K近邻搜索。本文中，我们提出一种针对无序点云的新型深度学习手部姿态估计方法。我们的方法以1024个3D点作为输入，且不需要额外信息。我们使用置换等变层(PEL)作为基本单元，并针对手部姿态估计任务提出了PEL的残差网络版本。此外，我们提出一种基于投票的方案，将各点的信息融合至最终姿态输出。除姿态估计任务外，该基于投票的方案还能在无分割真值的情况下提供点云分割结果。我们在NYU数据集与Hands2017Challenge数据集上评估了我们的方法。我们的方法优于近期最优方法，其中我们的姿态精度目前在Hands2017Challenge数据集上最佳。
引用
@article{arxiv.1812.02050,
title = {Point-to-Pose Voting based Hand Pose Estimation using Residual Permutation Equivariant Layer},
author = {Shile Li and Dongheui Lee},
journal= {arXiv preprint arXiv:1812.02050},
year = {2018}
}