基于生物力学约束的弱监督三维手姿态估计
计算机视觉与模式识别
2020-08-05 v2
摘要
从二维图像估计三维手姿态是一个困难的逆问题，因其固有的尺度与深度模糊性。当前最先进的方法使用带有三维真值数据的全监督深度神经网络进行训练。然而，获取三维标注成本高昂，通常需要标定的多视角设置或费力的手动标注。尽管二维关键点的标注更易获得，如何高效利用此类弱监督数据以改进三维手姿态预测任务仍是一个重要的开放问题。关键困难源于以下事实：直接应用额外的二维监督主要有利于二维代理目标，却几乎无助于缓解深度与尺度模糊性。面对这一挑战，我们提出了一组新颖的损失函数。我们通过大量实验表明，我们所提出的约束显著降低了深度模糊性，并使网络能更有效地利用额外的二维标注图像。例如，在具有挑战性的freiHAND数据集上，仅使用额外二维标注而不采用我们提出的生物力学约束仅将深度误差降低 ，而采用所提生物力学约束时误差显著降低了 。
引用
@article{arxiv.2003.09282,
title = {Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints},
author = {Adrian Spurr and Umar Iqbal and Pavlo Molchanov and Otmar Hilliges and Jan Kautz},
journal= {arXiv preprint arXiv:2003.09282},
year = {2020}
}