DOPE：面向野外全身三维姿态估计的部件专家蒸馏

我们提出 DOPE，这是首个在野外检测并估计人体全身三维姿态（包括身体、手和面部）的方法。实现这一细节水平对于需要理解人与人之间或人与环境之间交互的诸多应用至关重要。主要挑战在于缺乏带有标注全身三维姿态的野外数据。在先前工作中，训练数据已针对较简单的任务（分别关注身体、手或面部）进行标注或生成。本文中，我们提议利用这些数据集来训练各部件的独立专家，即身体、手和面部专家，并将其知识蒸馏到一个专为全身二维-三维姿态检测设计的单一深度网络中。实践中，给定一幅带有部分或无标注的训练图像，每个部件专家检测其二维和三维关键点子集，并将所得估计组合以获得全身伪真实姿态。蒸馏损失促使全身预测模仿专家的输出。我们的结果表明，该方法显著优于未经蒸馏训练的相同全身模型，同时接近专家的性能。重要的是，DOPE 的计算需求低于专家集成，并可实现实时性能。测试代码与模型见 https://europe.naverlabs.com/research/computer-vision/dope。