学习使用合成人体进行训练

神经网络需要大型标注数据集用于训练。然而，对于某些任务，如存在严重遮挡的多人2D姿态估计，人工标注可能过于昂贵甚至不可行。对此的一种补救方法是具有完美真值的合成数据。在此我们探索针对这一挑战性问题的两种合成数据变体：纯合成人体数据集和用合成人体增强的真实数据集。然后我们研究哪种方法能更好地泛化到真实数据，以及虚拟人体在训练损失中的影响。使用增强数据集且不在损失中考虑合成人体可带来最佳结果。我们观察到并非所有合成样本对训练都同等有用，而有用的样本在每个训练阶段各不相同。为利用这一观察，我们采用对抗性师生框架；教师通过为其当前状态提供最困难的样本作为挑战来改进学生。实验表明，师生框架在纯合成数据集上的表现优于常规训练。