基于网格表征循环学习的3D手部姿态与网格估计

一般而言，手部姿态估计旨在提升模型在真实场景中的性能鲁棒性。然而，由于现有数据集是在受限环境中获取以标注3D信息，难以增强该鲁棒性。尽管神经网络在定量上取得了较高的估计精度，但在视觉质量上仍可观察到不尽人意的结果。这种定量结果与其视觉质量之间的偏差仍是手部姿态表征中一个未解决的问题。为此，我们提出了一种用于3D手部姿态与网格估计的网格表征循环学习策略，该策略在训练阶段强化合成的手部网格表征。具体而言，手部姿态与网格估计模型首先在训练阶段利用真实世界手部图像预测参数化3D手部标注（即手部网格的3D关键点位置与顶点）。其次，利用自估计的手部网格表征生成合成手部图像。此后，将合成手部图像再次输入同一模型。因此，所提学习策略通过强化合成网格表征，同时改善了定量结果与视觉质量。为鼓励原始模型输出与其循环输出之间的一致性，我们提出了自相关损失（self-correlation loss），以最大化学习策略的精度与可靠性。 Consequently，该模型通过从自身输出中学习网格表征，有效地对手部姿态估计进行自精炼。为证明学习策略的有效性，我们在FreiHAND数据集上进行了充分的实验。值得注意的是，我们的学习策略在推理过程中无任何额外计算负担的情况下提升了手部姿态与网格估计的性能。