基于时空特征的早产儿姿态估计

目的：新生儿重症监护病房（NICUs）中对早产儿肢体的监测对于评估婴儿健康状况及运动/认知发育至关重要。为此，我们提出一种基于时空信息的早产儿肢体姿态估计新方法，可高可靠地从深度视频中检测并跟踪肢体关节。方法：肢体姿态估计采用深度学习框架，由检测与回归两个卷积神经网络（CNN）分别用于关节的粗略与精确定位。该CNN通过三维卷积在时间方向上编码连通性。所提框架的评估通过对实际临床中采集自十六名早产儿的十六段深度视频（babyPose数据集）开展综合研究进行。结果：在姿态估计应用中，所有肢体上估计姿态与真实姿态之间的中位均方根距离为9.06像素，优于仅基于空间特征的方法（11.27像素）。结论：结果表明时空特征对姿态估计性能有显著影响，尤其在具有挑战性的情形（如图像强度均匀）下。意义：本文通过引入时空特征进行肢体检测与跟踪，并成为首个使用实际临床采集的深度视频进行肢体姿态估计的研究，显著推进了早产儿健康状况自动评估的技术水平。babyPose数据集已作为首个婴儿姿态估计标注数据集发布。