用于交互手部姿态估计的并行网格重建流
计算机视觉与模式识别
2021-04-27 v1
摘要
我们提出一种新的多流三维网格重建网络(MSMR-Net)，用于从单张RGB图像进行手部姿态估计。我们的模型由图像编码器以及由连接的图卷积层组成的网格卷积解码器构成。与先前形成单一网格解码路径的模型不同，我们的解码器网络包含多条以并行方式执行的跨分辨率轨迹。因此，全局与局部信息被共享以形成丰富的解码表示，相较于单轨迹网络仅增加极少的额外参数成本。我们在不同交互程度的手-手和手-物交互场景中展示了方法的有效性。为评估前者场景，我们提出一种生成紧密交互手部RGB图像的方法。此外，我们建议一种量化交互程度的指标，并表明紧密手部交互尤其具有挑战性。实验结果表明，MSMR-Net在手-物FreiHAND数据集以及我们自己的手-手数据集上均优于现有算法。
引用
@article{arxiv.2104.12123,
title = {Parallel mesh reconstruction streams for pose estimation of interacting hands},
author = {Uri Wollner and Guy Ben-Yosef},
journal= {arXiv preprint arXiv:2104.12123},
year = {2021}
}