手术视频中时序引导的关节式手部姿态跟踪

关节式手部姿态跟踪是一个未被充分探索的问题，具有在大量应用中使用的潜力，尤其在医疗领域。借助对手术视频鲁棒且准确的跟踪系统，可捕捉并分析手部的运动动态与动作模式以用于许多丰富任务。本工作中，我们提出一种新颖的手部姿态估计模型CondPose，其通过将姿态先验纳入预测来提升检测与跟踪精度。我们展示了相比提供逐帧独立预测的SOTA方法的改进，所采用的是一种有效利用过去预测的时序引导方法。我们收集了Surgical Hands，首个为视频提供多实例关节式手部姿态标注的数据集。我们的数据集来自公开可用手术视频，提供超过8.1k个标注手部姿态，以及边界框、姿态标注和跟踪ID以支持多实例跟踪。在Surgical Hands上评估时，我们展示该方法在衡量姿态估计精度的平均精度均值（mAP）和评估姿态跟踪性能的多目标跟踪精度（MOTA）上均优于SOTA方法。与逐帧独立策略相比，我们在检测和跟踪手部姿态上表现出更优性能，并对定位精度有更显著影响。这对生成场景中更准确的手部表示以用于针对性下游任务具有积极意义。