单色手部图像中姿态与外观的解耦

由于光照、外观和背景的变化，从单目2D图像中进行手部姿态估计具有挑战性。虽然使用深度神经网络已取得一些成功，但它们通常需要收集一个充分采样手部图像所有变化轴的大型数据集。因此，若能找到一种独立于图像外观（如手部纹理、光照、背景）的手部姿态表示将很有用，这样我们就可以通过混合姿态-外观组合来合成未见的图像。本文提出了一种新颖技术，可在2D单色图像中将姿态表示与其互补的外观因子解耦。我们采用一个通过学习使用指定姿态+外观特征生成手部图像的网络来监督该解耦过程。与以往工作不同，我们不需要具有匹配姿态的图像对；相反，我们利用已有的姿态标注，并引入一种新颖的循环一致性用法以确保各因子间正交。实验结果表明，我们的自解耦方案成功将手部图像分解为姿态及其互补外观特征，质量可与使用成对数据的方法相媲美。此外，通过重新混合来自不同图像的姿态和外观因子，用具有未见手部-外观组合的额外合成图像训练模型，可以提升2D姿态估计性能。