用于增强婴儿全身运动评估的半监督身体解析与姿态估计

婴儿运动视频（IMV）的全身运动评估（GMA）是早期检测婴儿脑瘫（CP）的有效方法。我们在本文中证明，可端到端训练的图像序列识别神经网络可用于在GMA中取得良好结果，更重要的是，用婴儿身体解析与姿态估计信息增强原始视频可显著提升性能。为解决高效利用部分标注IMV进行身体解析的问题，我们提出一种称为SiamParseNet（SPN）的半监督模型，其由两支组成，一支用于帧内身体部位分割，另一支用于帧间标签传播。训练期间，这两支通过交替使用仅含标注帧的输入对以及同时含标注与未标注帧的输入进行联合训练。我们还通过提出因子化视频生成对抗网络（FVGAN）来合成新的标注帧以进行训练，从而研究训练数据增强。测试时，我们采用多源推断机制，其中测试帧的最终结果或通过分割支获得，或从邻近关键帧传播得到。我们在两个婴儿运动视频数据集上使用SPN进行了广泛的身体解析实验，其中SPN结合FVGAN取得了最先进的性能。我们进一步证明SPN可轻松适配婴儿姿态估计任务并取得优越性能。最后但同样重要的是，我们探索了该方法在GMA中的临床应用。我们收集了一个带GMA标注的新临床IMV数据集，实验表明在前两个数据集上训练的SPN身体解析与姿态估计模型能很好地泛化到新临床数据集，且其结果可显著提升基于CRNN的GMA预测性能。