对抗运动建模助力半监督手姿估计
计算机视觉与模式识别
2021-06-11 v1
摘要
由于不同的环境条件、物体与自身遮挡以及手形与外观的多样性，手姿估计十分困难。在完全标注数据集中详尽覆盖这一广泛因素仍不切实际，给监督方法的泛化带来显著挑战。面对此挑战，我们提出结合对抗训练与运动建模的思想以利用无标签视频。为此，我们提出了据我们所知首个手部运动模型，并表明对抗式公式通过对无标签视频序列的半监督训练可带来更好的手姿估计器泛化特性。在该设定下，姿态预测器必须产生有效的手姿序列，由判别性对手判定。该对手在结构与时间域上同时进行推理，有效利用了任务中的时空结构。我们方法的主要优势在于可使用未配对视频与关节序列数据，二者均比配对训练数据更易获取。我们进行了广泛评估，考察所提框架所需的核心组件，并在两个具挑战性设定中实证表明所提方法显著提升了姿态估计精度。在最低标签设定下，我们获得了绝对平均关节误差的提升。
引用
@article{arxiv.2106.05954,
title = {Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation},
author = {Adrian Spurr and Pavlo Molchanov and Umar Iqbal and Jan Kautz and Otmar Hilliges},
journal= {arXiv preprint arXiv:2106.05954},
year = {2021}
}